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内 容 提 要 
并 发 编程 近年 逐渐 热 起 来 ，Go 等 并 发 语言 也 对 并 发 编程 提供 了 民 好 的 支持 ， 使 得 并 发 这 个 话题 受到 越 
来 越 多 人 的 关注 。 本 书 延 续 了 《七 周 七 语言 》 的 写作 风格 ,通过 以 下 七 个 精 选 的 模型 帮助 读者 了 解 并 发 领 
域 的 轮廓 : 线程 与 锁 ， 函 数 式 编程 ，Clojure，actor， 通 信 顺 序 进程 ， 数 据 级 并 行 ，Lambda 架构 。 书 中 每 一 
革 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 会 有 相关 练习 ， 巩 固 并 扩展 当天 的 知识 。 每 一 革 均 有 复习 ， 用 
于 概括 本 草 模 型 的 优点 和 缺陷 。 
本 书 适 合 所 有 想 了 解 并 发 的 程序 员 。 
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详 者 厅 


作者 认为 写作 本 书 非 第 不 易 , 详 者 深 以 为 然 。 翻 痒 本 书 的 主要 困难 源 目 于 我 们 与 作者 在 知识 
积累 上 的 巨大 差 踢 ， 作 者 在 前 言 中 写 道 “我 从 1989 年 开始 攻读 博士 学 位 ， 在 并 行 计算 和 分 布 式 
计算 的 领域 深造， 那 年 我 只 有 一 岁 。 我 无 法 精通 本 书 介绍 的 七 个 模型 中 的 所 有 扩 术 细 和 ， 因 此 
没有 目 信 确保 全 无 差错 ， 只 能 竟 尽 所 能 保证 译文 不 会 有 大 的 偶 差 。 


在 此 要 回 提 供 必 助 的 人 们 致 以 谢意 。 首 先 ， 感 谢 图 灵 的 编辑 老师 ， 他 们 半 勤 的 工作 完善 了 本 
书 的 每 个 细 市 ; 其 次 ,要 感谢 我 的 父亲 一 一 大 连 海事 大 学 的 黄 映 辉 教授 ,他 为 本 书 进行 了 三 次 审 
校 ， 对 字句 进行 了 细作 昔 酌 ， 大 幅 提 升 了 本 书 的 可 读 性 ; 然后 ， 要 感谢 我 的 击 友 
News Digital 的 孙 培 源 ,他 为 本 书 进 行 了 中 英文 的 对 照 审 校 ， 帮助 矫正 了 翻译 过 程 中 的 很 多 恋 误 
还 有 要 感谢 工作 于 喜马拉雅 的 柳 飞 提供 的 莫大 帮助 ; 最 后 ,要 感谢 这 个 时 代 ， 证 我 们 有 机 会 能 参与 
到 这 个 伟大 的 丛书 系列 中 。 


本 书 介绍 了 七 种 并 发 模型 ， 行 文通 俗 吻 刁 ， 有 数量 充足 上 且 设计 精 民 的 样 例 来 玫 助 该 者 理解 。 
读 完 本 书 , 我 最 大 的 感受 是 世界 变 得 更 大 了 , 想 要 学 习 的 有 趣 的 东西 变 得 更 多 了 。 和 硕 望 大 家 读 完 
后 也 有 类 似 有 趣 的 体验 。 


用 一 个 亲 吴 经 历 的 趣事 来 结束 本 序 

几 年 前 ， 我 去 某 软 公司 应 聘 ， 电 话 面试 中 与 面试 家 有 如 下 一 番 对 话 。 
面试 官 : 你 了 解 多 线程 并 发 吗 ? 

我 : 不 了 解 ， 我 之 前 做 业务 系统 ， 多 线程 很 大 程度 上 都 是 委托 给 容 佣 的:…… 
面试 官 : 我 理解 了 。 你 不 太 败 悉 并 发 是 吗 ? 

我 : 是 的 。 

面试 官 : 那 我 们 还 是 来 聊 一 聊 并 发 吧 。 

祝 大 家 线程 安全 。 


黄 炎 
2014 年 12 月 31 日 


推 存 厅 


本 书 将 讲述 一 个 完整 的 故事 。 

将 此 作为 一 本 书 的 首要 定位 似乎 有 点 奇怪 , 但 对 我 而 言 这 很 重要 。 我 们 曾 回 绝 数 十 位 申请 撰写 
“七 周 系列 丛书 ”的 作者 , 他 们 认为 只 要 将 七 个 分 散 主 题 拼 凑 起 来 就 是 一 本 书 , 但 这 有 违 我 们 的 初衷。 

先前 的 《七 周 七 语言 : 理解 多 种 编程 范 型 》 "讲述 了 一 个 面向 对 象 编程 语言 的 故事 ， 这 是 很 
适应 当时 的 环境 的 ,但 在 多 核 架 构 的 驱动 下 ,软件 复 淋 度 的 增长 和 并 发 技术 的 发 展 所 向来 的 压力 ， 
将 函数 式 编程 推 到 有 舞台 之 上 ， 并 对 今后 的 编程 方式 有 着 深远 的 影响 。Paul Butcher 是 《七 周 七 语 
言 》 最 给 力 的 审 校 者 之 一 ， 相 识 四 年 后 ,我 开始 理解 其 中 原因 。 

Paul 一 征 奋 斗 在 将 高 可 扩展 的 并 发 技术 应 用 于 实际 业务 系统 的 第 一 线 。 读 过 《七 周 七 语言 》 
后 ,对 于 他 所 处 的 日 益 重 要 但 日 趋 复杂 的 问题 领域 , Paul 觉得 可 以 从 编程 语言 级 别 获 得 一 些 启发 。 
几 年 后 ，Paul 表示 要 写 一 本 自己 的 书 。 他 解释 道 ， 尽管 编程 语言 在 整个 故事 中 有 痢 重 要 的 作用 ， 
但 也 只 和 触及 了 问题 的 表面 。 他 要 为 读者 讲述 一 个 更 完整 的 故事 ,为 非 专业 人 士 介绍 现代 应 用 程序 
用 以 解决 大 型 并 行 问题 的 扩展 性 良好 的 重要 工具 。 

一 开始 我 们 是 持 怀 疑 态 度 的 。 这 类 书 是 很 难 写 的 一 一 比 起 其 他 领域 的 书 ， 这 类 书 需要 花费 更 
长 的 时 间 ， 而 且 失 败 的 几率 很 高 一 一 Paul 显然 选择 了 一 块 难 哗 的 骨头 。 作 为 一 个 团队 ,我 们 不 断 
磨合 前 进 ， 终 于 从 最 初 的 大 纲 中 研 麻 出 一 个 优秀 的 故事 。 随 春 书稿 逐 请 完成 ， 我 们 更 加 目 信 于 
Paul 的 技术 能 力 和 攻关 热情 。 现 在 ,我 们 已 经 确信 这 是 一 本 特别 的 书 ， 而且 恰 着 其 时 。 随 看 阅读 
的 深入 ， 我 相信 你 也 会 同意 这 个 观点 。 

当 你 在 开篇 阅读 到 “线程 与 锁 ” 这 种 当今 最 广泛 使 用 的 并 发 解决 方案 时 ， 可 能 会 不 以 为 然 。 
不 过 你 很 快 就 会 看 到 这 种 解决 方案 的 不 足 之 处 , 并 开始 思考 如 何 解决 。Paul 将 引领 你 学 习 多 种 非 
常 不 同 的 技术 ， 从 一 些 社交 平台 使 用 的 Lambda 架构 ， 到 现今 世界 上 许多 最 大 最 可 靠 的 电信 系统 
使 用 的 actor 模型 。 你 会 学 到 职业 高 手 使 用 的 一 些 语言 ， 从 Java 到 Clojure， 上 再 到 基于 Erlang 的 内 
党 新 秀 Elixir。 旅 途中 的 每 一 步 ，Paul 虱 将 从 专业 的 角度 为 你 训 析 其 中 的 玄妙 和 精彩 。 

在 此 ， 我 诚意 奉 上 《七 周 七 并 发 模型 》。 希望 你 和 我 一 样 乐 享 其 中 。 


Bruce A. Tate 
icanmakeitbetter.com 网 站 CTO， 七 周 系 列 从 书 主编 
于 美国 德 克 萨 斯 州 奥 斯 汀 


Q) 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 : http:/www.ituring.com.cn/book/829。 一 一 编者 注 


Dl 


我 从 1989 年 开始 攻读 博士 学 位 ， 在 并 行 计算 和 分 布 式 计算 的 领域 深造 ， 当 时 我 便 深 信 并 发 编 
程 将 成 为 主流 ,二 十 年 后 ,我 的 观点 终于 得 以 验证 一 一 整个 世界 都 在 讨论 多 核 以 及 如 何 发 挥 其 优 热 。 

学 习 并 发 不 仅 是 为 了 利用 多 核 来 获得 更 好 的 性 能 。 知 正确 使 用 并 发 , 我 们 还 能 在 程序 的 响应 
性 、 容 错 性 、 效 率 和 简洁 程度 上 获得 大 幅 提 升 。 
天 于 本 书 

本 书 延 续 了 Pragmatic Bookshelf 的 七 周 系列 从 书 (《 七 周 七 语言 >》《 七 周 七 数据 库 》 《七 周 
七 网 络 框架 》) 的 架构 ， 通 过 七 个 精 选 的 模型 帮助 读者 了 解 并 发 领域 的 轮廓 。 这 些 模型 中 ， 一 些 
已 经 成 为 主流 ,一 些 很 快 会 成 为 主流 ， 男 一 些 虽 难以 成 为 主流 , 但 在 特定 领域 会 威力 无 穷 。 当 面 
对 一 个 并 发 问题 时 ， 你 可 以 借助 本 书 准 确 选 择 合适 的 工具 ， 这 就 是 我 的 期 望 所 在 。 

本 书 的 每 一 草 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 会 有 相关 练习 ,巩固 并 扩展 当天 的 知 
有 草 均 有 复习 ， 用 于 概括 本 章 模型 的 优点 和 缺陷 。 


尽管 有 少量 具有 哲学 意味 的 讨论 , 但 本 书 还 是 侧重 于 实践 。 我 强烈 建议 你 在 阅读 样 例 时 能 亲 
手 实践 一 下 一 一 没什么 比 代 码 更 有 说 服 力 了 。 
本 书 未 涉及 的 内 容 

本 书 不 是 语言 参考 手册 。 我 们 会 使 用 一 些 较 新 的 语言 ， 例 如 Elixir 和 Clojure， 但 本 书 关注 的 
是 并 发 而 不 是 编程 语言 , 所 以 不 会 深入 介绍 这 些 语言 的 具体 特性 , 希望 你 通过 上 下 文 可 以 初步 了 
解 这 些 语言 的 主要 特性 ， 如 果 要 对 其 深入 探究 以 期 充分 理解 ， 就 得 依靠 自身 的 努力 了 。 阅 读本 书 
时 ， 如 果 手 边 开 着 浏览 硕 可 随时 查阅 语言 参考 手册 ， 就 会 事半功倍 。 

本 书 不 是 安 疲 配置 手册 。 要 运行 本 书 的 配 倒 代码 ， 就 需要 安 狐 和 运行 相应 工具 一 一 配套 代码 
的 README 文件 会 给 出 一 些 提 示 , 但 还 是 要 依靠 你 自己 。 本 书 所 有 的 样 例 都 采用 主流 工具 编写 ， 
如 有 果 遇 到 困难 ， 你 可 以 在 网 络 上 找到 许多 帮助 资料 。 

本 书 也 不 是 面面俱到 一 一 无 法 赛 括 所 有 议题 的 每 个 细 下 。 对 于 某 些 以 题 ， 本 书 会 一 笔 市 过 或 


QD 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 :“http://www.ituring.com.cn/book/1369。 一 一 编者 注 


Vi 用 言 


者 根本 不 予 讨 论 。 在 某 些 章节 中 ,我 会 特意 使 用 一 些 不 规范 的 代码 ， 目 的 是 便于 不 熟悉 该 语言 的 
读者 来 理解 代码 。 如 果 你 有 意 深入 学 习 本 书 中 的 某 种 技术 ， 建 议 阅 读本 书 所 提 及 的 权威 文献 。 
样 例 代 码 


本 书 讨论 的 所 有 样 例 都 可 以 从 本 书 的 网 站 "下 载 。 每 个 样 例 都 包括 源码 和 构建 系统 。 对 于 每 
一 种 语言 ， 本 书 都 选用 最 通用 的 构建 系统 (Java 使 用 Maven，Clojure 使 用 Leiningen，Elixir 使 用 
Mix，Scala 使 用 sbt，C 使 用 GNU Make )。 

大 多 数 情 况 下 ， 构建 系统 不 仪 会 编译 代码 ， 而 且 会 下 载 所 需 的 额外 依赖 。sbt 和 Leiningen 其 
至 会 下 载 对 应 版 本 的 Scala 和 Clojure 的 编译 需 , 所 以 你 只 需要 下 载 并 安装 构建 系统 即 可 (在 网 络 
上 可 以 找到 详尽 的 安 猴 步骤 )。 

不 过 第 7 章 中 使 用 的 C 代 码 是 个 特例 ,需要 根据 你 的 操作 系统 和 显卡 类 型 安装 相应 的 OpenCL 
工具 包 ( 除非 你 使 用 的 是 Mac， 因 为 Xcode 会 搞定 一 切 )。 


给 IDE 用 户 的 建议 

本 书 使 用 的 构建 系统 都 在 命令 行 下 测 斌 通过。 如果 你 是 成 熟 的 IDE 用 户 , 一 定 知道 如 何 将 构 
建 系统 导入 到 IDE 中 大 多 数 IDE 都 会 兼容 Maven， 主 流 IDE 也 都 有 兼容 sbt 和 Leiningen 的 
插件 。 不 过 我 没有 在 IDE 中 测试 过 ， 所 以 你 与 我 一 样 使 用 命令 行 也 许 会 容易 一 些 。 
给 Windows 用 户 的 建议 

所 有 的 样 例 均 在 OSX 和 Linux 上 测试 通过 。 理 论 上 ， 它 们 也 可 以 在 Windows 上 运行 恨 好 ， 
但 我 并 没有 验证 过 。 

第 7 章 中 使 用 的 C 代码 是 个 特例 , 其 使 用 了 GNU Make 和 GCC。 理论 上 是 能 被 迁移 到 Visual 
C++ 中 ， 但 我 没有 尝试 过 这 种 可 能 。 
在 线 资 源 

本 书 中 的 样 例 都 可 以 在 本 书 网 站 上 找到 。 如 果 你 要 提交 勘误 或 者 给 出 建议 , 也 可 以 在 网 站 上 
找到 勘误 表格 和 交流 论坛 。 


Paul Butcher 
Ten Tenths Consulting 


paul(tententhsconsulttng.com 


2014 年 6 月 于 英国 剑桥 
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并 发 编程 的 概念 并 不 新 , 却 下 到 最 近 才 火 起 来 ,一 些 编程 语言 , 如 Erlang、Haskell Go、 Scala、 
Clojure， 也 因 对 并 发 编程 提供 了 展 好 的 文 持 ， 而 受到 广泛 关注 。 

并 发 编程 复兴 的 主要 驱动 力 来 自 于 所 谓 的 “多 核 危 机 ”。 正 如 摩尔 定律 "所 预言 的 那样 ， 世 
性 能 仍 在 不 断 提 高 ，CPU 的 速度 会 继续 提升 ， 但 计算 机 的 发 展 方向 已 然 转 向 多 核 化 *。 

Herb Sutter 曾 经 说 过 :“ 免 费 午 餐 的 时 代 已 然 终 结 。 “为 了 让 代码 运行 得 更 快 , 单纯 依靠 更 快 
的 便 件 已 无 法 满足 要 求 ， 我 们 震 要 利用 多 核 ， 也 就 是 发 气 并 行 执行 的 潜力 。 


1.1 并 发 还 是 并 行 ? 


本 书 的 主题 是 “并 发 ”， 那 么 又 为 何 涉及 了 “并 行 ” 呢 ? 虽然 两 者 有 所 关联 又 稼 被 混 消 ， 但 
并 发 和 并 行 的 含义 却 是 不 同 的 。 


一 字 之 闫 也 是 差 
并 发 程序 含有 多 个 逻辑 上 的 独立 执行 块 ， 它 们 可 以 独立 地 并 行 执 行 ， 也 可 以 串 行 执行 。 
并 行程 序 解 决 问题 的 速度 往往 比 串 行程 序 快 得 多 ， 因 为 其 可 以 同时 执行 整个 任务 的 多 个 音 
分 。 并 行程 序 可 能 有 多 个 独立 执行 块 ， 也 可 能 仅 有 一 个 。 
我 们 还 可 以 从 为 一 种 角度 来 看 等 并 发 和 并 行 之 间 的 差异 : 并 发 是 问题 域 中 的 概念 一 一 程序 需 


GD http://en.wikipedia.org/wiki/Moore%27s law 

@) 作者 在 本 章 不 断 使 用 “core”“CPU”“processor”， 译 者 在 此 尊重 原文 分 别 翻译 成 “ 核 ” “CPU”“ 人 处理 器 ”*。 但 译 
者 认为 此 处 指 的 都 是 广义 的 处 理 单元 ， 而 不 是 狭义 的 硬件。 一 一 译 者 注 

3) http://www.gotw.ca/publications/concurrency-ddj.htm 

(4) 原文 是 “logical threads of control”， 直 译 为 “控制 逻辑 线程 ” ， 但 在 此 语 境 下 “控制 ”或 “线程 ” 指 的 并 不 是 我 们 
常见 的 “控制 ”和 “线程 ”。 为 便于 理解 ,在 此 将 其 译 成 “独立 执行 块 "， 这 个 概念 来 自 于 Google IO 2012 的 演讲 
“Go concurrency patterns” 中 引用 的 文档 “Concurrency is not Parallelism”( http://tinyurl.com/goconcnotpar )， 其 将 
这 个 概念 称 为 “independently executing processes”。 一 一 译 者 注 
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要 被 设计 成 能 够 处 理 多 个 同时 (或 者 几乎 同时 ) 发 生 的 事件 ; 而 并 行 则 是 方法 域 中 的 概念 一 一 通 
过 将 问题 中 的 多 个 部 分 并 行 执 行 ， 来 加 速 解决 问题 。 

引用 Rob Pike 的 经 典 描 述 ”. 

并 发 是 同一 时 间 应 对 ( dealing with ) 多 件 事 情 的 能 

并 行 是 同一 时 间 动 手 做 ( doing ) 多 件 事情 的 能 

那么 这 本 书 讲述 的 是 并 发 还 是 并 行 ? 


WwW 小 乔 爱 问 : 
xfF 并发? 并 行 ? 


我 麦子 是 一 位 教师 。 与 众多 教师 一 样 ， 她 极其 普 于 处 理 多 个 任务 。 她 虽然 每 次 只 能 做 一 
件 事 , 但 可 以 同时 处 理 多 个 任务 。 比 如 , 在 听 一 位 学 生 明 读 的 时 候 , 她 可 以 暂停 学 生 的 表 读 ， 
以 维持 课堂 秩序 ， 或 者 回答 学 生 的 问题 。 这 是 并 发 ， 但 并 不 并 行 〈《 国 为 仅 有 她 一 个 人 ， 某 一 
时 刻 只 能 进行 一 件 事 )。 

但 如 果 还 有 一 位 助教 则 她 们 中 一 位 可 以 聆听 并 读 , 而 同时 另 一 位 可 以 回答 问题 。 这 种 
Pe 

假设 班级 设计 了 自己 的 闹 卡 并 要 批量 制作 。 一 种 方法 是 让 每 位 学 生 制 作 五 枚 贺卡 。 这 种 
方法 是 并 行 ， 而 (从 整体 看 ) 不 是 并 发 ， 因 为 这 个 过 程 整体 米 说 只 有 一 个 任务 。 


超越 串 行 编程 模型 


并 发 和 并 行 的 共同 点 就 是 它们 比 传 统 的 串 行 编程 模型 更 优秀 。 本 书 将 同时 洱 兰 并 发 和 并 行 
(学 完 可 能 会 给 这 本 书 起 名 为 “七 周 七 并 发 模型 和 并 行 模型 "”， 不 过 那样 的 话 ， 封 面 会 变 得 很 难 
看 )。 

并 发 和 并 行经 常 被 混 消 的 原因 之 一 是 ， 传 统 的 “线程 与 锁 ” 模 型 并 没有 显 式 文 持 并 行 。 如 
条 要 用 线程 与 锁 模型 为 多 核 进 行 开发 ， 唯 一 的 选择 就 是 写 一 个 并 发 的 程序 ， 并 行 地 运行 在 多 核 
下 

然而 , 并 发 程序 的 执行 通 帝 是 不 确定 的 , 它 会 随 看 事件 时 友 的 改变 而 给 出 不 同 的 结 采 。 对 于 真 
正 的 并 发 程序 , 不 确定 性 是 其 与 生 俱 来 且 伴 随 始终 的 属性 。 与 之 相反 , 并 行程 序 可 能 是 确定 的 一 一 
例如 ， 要 将 数组 中 的 每 个 数 都 加 倍 ， 一 种 做 法 是 将 数组 分 为 两 部 分 并 把 它们 分 别 交 给 一 个 核 处 理 ， 
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这 种 做 法 的 运行 结果 是 确定 的 。 用 支持 并 行 的 编程 语言 可 以 写 出 并 行程 序 ， 而 不 引入 不 确定 性 。 


1.2 ” 并行 架构 


人 们 通常 认为 并 行 等 同 于 多 核 , 但 现代 计算 机 在 不 同 层 次 上 虱 使 用 了 并 行 技术 。 比 如 资 , 单 
核 的 运行 速度 现今 仍 能 每 年 不 断 提 升 的 原因 是 : 单 核 包 含 的 晶体 管 数量 , 如 同 摩 尔 定律 预测 的 那 
样 变 得 越 来 越 多 ， 而 单 核 在 位 级 和 指令 级 两 个 层次 上 都 能 够 并 行 地 使 用 这 些 品 体 管 资源 。 


位 级 (bit-level) 并 行 
为 什么 32 位 计算 机 的 运行 速度 比 8 位 计算 机 更 快 ? 因为 并 行 。 对 于 两 个 32 位 数 的 加 法 ,8 位 计 
算 机 必须 进行 多 次 8 位 计算 ， 而 32 位 计算 机 可 以 一 步 完 成 ， 即 并 行 地 处 理 32 位 数 的 4 字 节 。 


计算 机 的 发 展 经 历 了 8 位 、16 位 、32 位 ， 现 在 正 处 于 64 位 时 代 。 然 而 由 位 升级 寓 来 的 性 能 改 
善 是 存在 瓶颈 的 ， 这 也 正 是 短期 内 我 们 无 法 步 入 128 位 时 代 的 原因 。 


旧 今 级 〈instruction-level) 并 行 

现代 CPU 的 并 行 度 很 高 ， 其 中 使 用 的 技术 包括 流水 线 、 乱 序 执行 和 猜测 执行 等 。 

程序 员 通 篆 可 以 不 关心 处 理 带 内 部 并 行 的 细节 , 因为 尽管 处 理 融 内 部 的 并 行 度 很 高 , 但 是 经 
过 精心 设计 ， 从 外 部 看 上 去 所 有 处 理 都 像 是 串 行 的 。 

而 这 种 “看 上 去 像 串 行 ”的 设计 逐渐 变 得 不 适用 。 处 理 套 的 设计 者 们 为 单 核 提 升 速 度 变 得 越 
来 越 困 难 。 进 入 多 核 时 代 ， 我 们 必须 面 对 的 情况 是 : 无 论 是 表面 上 还 是 实质 上 ,指令 都 不 再 品行 
执行 了 。 我 们 将 在 2.2 市 的 “内 存 可 见 性 ”部 分 展开 讨论 。 


数据 级 〈data) 并 行 
数据 级 并 行 ( 也 称 为 “ 单 指令 多 数据 "，SIMD ) 架构 ,可 以 并 行 地 在 大 量 数据 上 施加 同一 操 
作 。 这 并 不 适合 解决 所 有 问题 ， 但 在 适合 的 场景 却 可 以 大 展 身手 。 


图 像 处 理 束 是 一 种 适合 进行 数据 级 并 行 的 场景 。 比 如, 为 了 增加 图 片 吉 度 就 再 要 增加 每 一 个 像 
素 的 亮度 。 现 代 GPU〈 图 形 处 理 硕 ) 也 因 图像 处 理 的 特点 而 演化 成 了 极其 强大 的 数据 并 行 处 理 融 。 


任务 级 (task-level) 并 行 


终于 来 到 了 大 家 所 认为 的 并 行 形式 一 一 多 处 理 器 。 从 程序 员 的 角度 来 看 ,多 处 理 器 架构 最 明 
显 的 分 类 特征 是 其 内 存 模型 ( 共 圣 内 存 模型 或 分 布 式 内 存 模型 )。 
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对 于 共享 内 存 的 多 人 处理 上 磊 系 统 , 每 个 处 理 需 都 能 访问 整个 内 存 ,， 处 理 需 之 间 的 通信 主要 通过 
内 存 进行 ， 如 图 1-1 所 示 。 


图 1-1 共享 内 存 的 多 处 理 融 系统 


对 于 分 布 式 内 存 的 多 处 理 需 系统 ,每 个 处 理 需 都 有 上 自己 的 内 存 ,， 处 理 吾 之 间 的 通信 主要 通过 
网 络 进行 ， 如 图 1-2 所 示 。 


外 Wm 


图 1-2 ”分 布 式 内 存 的 多 处 理 需 系统 
通过 内 存 通 信 比 通过 网 络 通 信和 更 简单 更 快速 , 所 以 用 共享 内 存 编程 往往 更 容易 。 然 而 ， 当 处 
理 带 个 数 逐 渐 增 多 , 共享 内 存 就 会 遭遇 性 能 瓶 祷 此 时 不 得 不 转 癌 分 布 式 内 存 。 如 果 要 开发 一 
个 容错 系统 ,就 要 使 用 多 台 计 算 机 以 规避 人 硬件 故障 对 系统 的 有 影响 ,此 时 也 必须 借助 于 分 布 式 内 存 。 
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1.3 并 发 : 不 只 是 多 核 


使 用 并 发 的 目的 , 不 仅仅 是 为 了 让 程序 并 行 运行 从 而 发 挥 多 核 的 优势 。 厂 正确 使 用 并 发 , 程 
序 还 将 获得 以 下 优点 : 及 时 虽 应 、 高 效 、 容 错 、 价 单 。 


并 发 的 世 天 ， 并 发 的 软件 

世界 是 并 发 的 ， 为 了 与 其 有 效 地 交互 ， 软 件 也 应 是 并 发 的 。 

手机 可 以 同时 播放 首 乐 、 上 网 浏览 、 啊 应 触 屏 动作 。 我 们 在 IDE 中 输入 代码 时 ，IDE 正 在 后 
台 悄 悄 检 查 代码 语 法 。 飞 机 上 的 系统 也 同时 兼顾 了 好 几 件 事情 : 监控 传 感 带 、 在 仪表 盘 上 显示 信 
居 、 执 行 指 令 、 操 纵 飞 行 沪 置 调整 飞行 姿态 。 

并 发 是 系统 及 时 响应 的 关键 。 比 如 ， 当 文件 下 载 可 以 在 后 台 进 行 时 ， 用户 束 不 必 一 直 且 着 妃 
标 沙 漏 而 烦心 了 。 再 比如 ，Web 服 务 带 可 以 并 发 地 处 理 多 个 连接 请 求 ， 一 个 慢 请 求 不 会 影响 服务 
船 对 其 他 请 求 的 啊 应 。 


分 布 陈 的 世 弄 ， 分 布 式 的 软件 
有 时 , 我们 要 解决 地 理 分 布 型 问题 。 软 件 在 非 同 步 运行 的 多 合计 算 机 上 分 布 式 地 运行 ， 其 本 
此 外 ,分布 式 软件 还 具有 容错 性 。 我 们 可 以 将 服务 带 一 半 部 署 在 欧洲 ， 力 一 半 部 著 在 关 国 ， 
这 样 如 果 一 个 区 域 停电 就 不 会 造成 软件 整体 不 可 用 。 下 面 就 介绍 容错 性 。 


个 可 预测 的 世 和 弄 ， 容 销 性 强 的 软件 
软件 有 bug, 程序 会 朋 省 。 即使 存在 完美 的 没有 bug 的 程序 , 运行 程序 的 硬件 也 可 能 出 现 故 障 。 


为 了 增强 软件 的 容错 性 , 并 发 代码 的 关键 是 独立 性 和 故障 检测 。 独 立 性 是 指 一 个 故障 不 会 影 
啊 到 故障 任务 以 外 的 其 他 任务 。 故 障 检测 是 指 当 一 个 任务 失败 时 ( 原因 可 能 是 任务 月 演 、 失 去 响 
应 或 硬件 故障 )， 需 要 通知 负责 故障 处 理 的 其 他 任务 来 处 理 。 


串 行程 序 的 容错 性 远 不 如 并 发 程序 。 


复 来 的 世 这 ， 简 单 的 软件 


如 条 曾 经 花费 数 小 时 纠结 在 一 个 难以 诊断 的 多 线程 bug 上 ， 那 你 可 能 很 难 接受 这 个 结论 ， 但 


GD 作者 在 此 处 用 到 了 两 个 词 : fault-tolerant 和 resilient， 中 文 都 译 为 “容错 性 ”， 但 两 者 略 有 区 别 。 由 于 这 种 微小 的 区 
别 不 会 影响 对 本 书 的 理解 ， 因 此 之 后 的 译文 不 再 区 分 两 者 ， 统 一 使 用 “容错 性 ”以 方便 读者 理解 。 一 一 译 者 注 
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在 选 对 编程 语言 和 工具 的 情况 下 , 比 起 串 行 的 等 价 解 决 方案 ,一 个 并 发 的 解决 方案 会 更 简洁 清晰 。 

在 处 理 现实 世界 的 并 发 问题 时 , 这 个 结论 可 以 得 到 印证 。 用 串 行 方案 解决 一 个 并 发 问题 往往 
需要 付出 额外 的 代价 ， 而且 解决 方案 会 星 深 难 懂 。 如 果 解 决 方案 有 着 与 问题 类 似 的 并 发 结构 ， 就 
会 简单 许多 : 我 们 不 需要 创建 一 个 复杂 的 线程 来 处 理 问题 中 的 多 个 任务 ， 只 需要 用 多 个 简单 的 线 
程 分 别处 理 不 同 的 任务 即 可 。 


1.4 七 个 模型 

本 书 精心 挑选 了 七 个 模型 来 介绍 并 发 与 并 行 。 

线程 与 锁 : 线程 与 锁 模 型 有 很 多 众所周知 的 不 足 , 但 仍 是 其 他 模型 的 技术 基础 ,也 是 很 多 并 
发 软件 开发 的 首选 。 

马 数 式 编程 : 图 数 式 编 程 日 渐 重 要 的 原因 之 一 , 是 其 对 并 发 编程 和 并 行 编程 提供 了 良好 的 文 
持 。 畏 数 式 编程 消除 了 可 变 状态 ， 所 以 从 根本 上 是 线程 安全 的 ， 而 旦 易于 并 行 执行 。 

Clojure 之 道 一 一 分 离 标识 与 状态 : 编程 语言 Clojure 是 一 种 指令 式 编 程 和 函数 式 编程 的 混搭 方 
案 ， 在 两 种 编程 方式 上 取得 了 微妙 的 平衡 来 发 挥 两 者 的 优势 。 

actor: actor 模 型 是 一 种 适用 性 很 广 的 并 发 编程 模型 ,适用 于 共 至 内 存 模 型 和 分 布 式 内 存 模型 ， 
也 适合 解决 地 理 分 布 型 问题 ， 能 提供 强大 的 容错 性 。 

通信 顺序 进程 (Communicating Sequential Processes，CSP ) : 表面 上 看 ，CSP 模 型 与 actor 模 
型 很 相似 ， 两 者 都 基于 消息 传递 。 不 过 CSP 模 型 侧重 于 传递 信息 的 通道 ， 而 actor 模 型 侧重 于 通道 
两 端的 实体 ， 使 用 CSP 模 型 的 代码 会 党 有 明显 不 同 的 风格 。 

数据 级 并 行 : 每 个 笔记 本 电脑 里 部 藏 看 一 台 超 级 计算 机 一 GPU。GPU 利 用 了 数据 级 并 行 ， 
不 仅 可 以 快速 进行 图 像 处 理 ， 也 可 以 用 于 更 广阔 的 领域 。 如 果 要 进行 有 限 元 分 析 、 流 体力 学 计算 
或 其 他 的 大 量 数字 计算 ，GPU 的 性 能 将 是 不 二 选择 。 

Lambda 架 构 : 大 数据 时 代 的 到 来 离 不 开 并 行 一 一 现在 我 们 只 需要 增加 计算 资源 ， 就 能 具有 
处 理 TB 级 数据 的 能 力 。Lambda 架 构 综 合 了 MapReduce 和 流 式 处 理 的 特点 ， 是 一 种 可 以 处 理 多 种 
大 数据 问题 的 架构 。 

以 上 每 种 模型 都 有 各 自 的 甜 区 "。 请 带 着 以 下 的 问题 来 阅读 之 后 的 章节 。 

口 这 个 模型 适用 于 解决 并 发 问题 、 并 行 问题 ， 还 是 两 者 丝 可 ? 

口 这 个 模型 适用 于 哪 种 并 行 架 构 ? 

口 这 个 模型 是 否 有 利于 我 们 写 出 容错 性 强 的 代码 ， 或 用 于 解决 分 布 式 问 题 的 代码 ? 


下 一 章 将 介绍 第 一 个 模型 : 线程 与 锁 模型 。 


GD 球 类 运动 中 球拍 上 最 适合 击 球 的 区 域 。 一 一 译 者 注 


线程 与 锁 


线程 与 锁 模型 就 像 一 辆 福特 T 型 车 : 芍 驶 它 可 以 到 达 目 的 地 ， 但 与 新 的 技术 相 比 ， 它 显得 原 
始 且 难以 歼 双 ,不 可 靠 还 有 点 儿 人 危险 。 

抛 开 那 些 众所周知 的 缺点 , 线程 与 锁 模 型 仍 是 开发 并 发 软件 的 首选 技术 , 它 也 文 返 了 本 书 将 
要 介绍 的 其 他 技术 。 你 可 能 不 会 下 接 用 到 这 个 模型 ,但 也 应 该 了 解 它 是 如 何 工作 的 。 


2.1 简单 粗暴 


线程 与 锁 模 型 其 实 是 对 确 层 便 件 运行 过 程 的 形式 化 。 这 种 形式 化 既是 该 模型 最 大 的 优点 , 也 
是 它 最 大 的 缺点 。 


线程 与 锁 模 型 非常 简单 直接 ,几乎 所 有 编程 语言 都 以 某 种 形式 对 其 提供 了 文 持 ， 且 不 对 其 使 
用 方式 加 以 限制 。 换 句 话说， 对 于 不 精通 该 模型 的 程序 员 ， 编 程 语言 没有 提供 足够 的 帮助 ， 使 得 
程序 容易 出 钳 且 难以 维护 。 

我 们 将 借助 Java 语 言 来 学 习 线 程 与 锁 模 型 ， 但 所 述 内 容 也 适用 于 其 他 语言 。 第 一 天 ， 将 学 习 
Java 的 多 线程 代码 、 洪 在 的 坑 以 及 一 些 避 免 踩 坑 的 原则 。 第 二 天 ， 将 进一步 学 习 java.util. 
concurrent 包 提供 的 工具 。 第 三 天 ， 学 习 一 些 由 标准 库 提供 的 并 发 数据 结构 ， 尝 试 使 用 其 解决 
一 个 现实 问题 。 


最 佳 实践 

第 一 天 的 学 习 将 从 Java 提 供 的 底层 服务 开始 。 现 在 的 优秀 代码 很 少 直 接 使 用 底层 服务 ， 
而 是 使 用 将 在 随后 讨论 的 高 层 服务 。 要 理解 高 层 服务 , 我 们 必须 先 理 解 基础 的 底层 服务 ,但 
请 注意 : 不 应 在 产品 代码 上 直接 使 用 Thread 类 等 底层 服务 。 
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2.2 第 一 天 : 互 斥 和 内 存 模型 


如 朱 你 曾经 接触 过 并 发 编程 , 那 一 定 玖 悉 互 斥 这 个 概念 一 一 用 锁 保 证 采 一 时 间 仅 有 一 个 线程 
可 以 访问 数据 。 你 也 肯定 束 悉 互 斥 市 来 的 采 烦 , 比如 说 竞 态 条 件 和 死 锁 ( 如 末 对 此 不 熟悉 也 无 妨 ， 
稍 后 都 会 介绍 )。 


我 们 会 详细 讨论 实践 中 使 用 共 理 内 存 市 来 的 一 些 问题 ， 但 首 和 多 需要 关注 更 基础 更 重要 的 内 
容 一 一 内 存 模型 。 如 果 你 认为 苑 态 条 件 和 死 锁 会 导致 一 系列 很 奇怪 的 现象 ,， 那 就 对 共 至 内 存 的 诡 
异 程度 托 目 以 竺 吧 。 


想 超越 自我 ?” 让 我 们 从 创建 一 个 线程 开始 。 


创建 线程 


Java 中 ， 并 发 的 基本 单元 是 线程 ， 可 以 将 线程 看 作 控 制 流 ( thread of control )。 线 程 之 间 通 过 
共享 内 存 进 行 通信 。 


俗话 说 : 一 切 编程 锅 始 于 “Hello, World!” 。 我 们 也 不 免 俗 地 来 个 多 线程 版 本 : 


ThreadsLocks/HelloWorld/src/main/java/com/paulbutcher/HelloWorld.java 
public class HelloWorld { 


public static void main(String[] args) throws InterruptedException { 
Thread myThread = new Thread() { 
public void run() { 
System.out.println("Hello from new thread"); 
} 
}; 
myThread. start(); 
Thread.yield(); 
System.out.println("Hello from main thread"); 
myThread.join(); 
} 
} 


这 段 代 码 创 建 并 启动 了 一 个 Thread 实 例 。 首 先 从 start() 开 始 ，myThread.run() 函数 与 
main() 函数 的 余下 部 分 一 起 并 发 执行 。 最 后 main 线 程 调用 join() 来 等 待 nyThread 线 程 结束 ( 即 
FUnN ( ) 睫 数 返回 避 

运行 这 段 代 码 的 结果 可 能 是 


Hello from main thread 
Hello from new thread 


也 可 能 是 


Hello from new thread 
Hello from main thread 
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究 苋 是 哪 种 运行 结果 完全 取决 于 哪个 线程 完 执 行 printtn() (我 的 测试 结果 是 各 占 50% )。 
多 线程 编程 很 难 的 原因 之 一 就 是 运行 结 末 可 能 依赖 于 时 序 ， 多 次 运行 的 绪 采 并 不 稳定 。 


1 小 乔 爱 问 : 
二 Thread.yield 的 作用 ? 


在 多 线程 版 本 的 “Hello, World! 中 我 们 使 用 了 Thread ,yieLd()， 根 据 相 关 的 Java 文 
档 ， 其 作用 是 : 


通知 调度 器 : 当前 线程 想 要 让 出 对 处 理 器 的 占用 。 


如 果 不 调 用 Thread.yieLd()， 由 于 创建 新 线程 要 花费 一 些 时 间 ， 那 么 main 线程 几乎 
肯定 会 先 执 行 println() (当然 并 不 保证 一 定 会 如 此 一 一 梢 后 我 们 将 学 到 一 个 规律 : 并 发 编 
程 中 如 果 某 事 可 能 会 发 生 , 那么 不 论 多 艰难 它 一 定 会 发 生 , 而 且 可 能 发 生 在 最 不 利 的 时 刻 )。 


试 将 Thread.yield() 注 释 掉 ， 看 看 会 发 生 什么 。 如 果 换 成 Thread.sleep(1) 呢 ? 


第 一 把 锁 


多 个 线程 同时 使 用 共 胖 内 存 时 ， 它 们 往往 会 “打成一片 "。 为 避免 如 此 ， 我 们 可 以 使 用 锁 达 


到 线程 互 斥 的 目的 ， 即 茶 一 时 间 至 多 有 一 个 线程 能 持 有 锁 。 
先 创建 两 个 线程 ， 并 使 其 交互 


ThreadsLocks/Counting/src/main/java/com/paulbutcher/Counting.java 


public class Counting { 
public static void main(String[] args) throws InterruptedException { 
class Counter { 
private int count = 0; 
public void increment() { ++count; } 
public int getCount() { return count; } 
} 
final Counter counter = new Counter() ; 
class CountingThread extends Thread { 
public void run() { 
for(int x = 0; x < 10000; ++x) 
counter.increment(); 
} 
} 
CountingThread tl = new CountingThread(); 
CountingThread t2 = new CountingThread(); 
tl1.start(); t2.start(); 
tl1.join(); t2.join(); 
System.out.println(counter.getCount()); 
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这 段 代码 创建 了 一 个 简单 的 counter 类 和 两 个 线程 , 每 个 线程 都 调用 counter.increment() 
10 000 次 。 这 段 代码 看 上 去 很 简单 但 很 脆弱 。 

运行 这 段 代 码 ， 每 次 都 将 获得 不 同 的 结果 。 最 后 三 次 测试 的 结果 是 13850、11867 和 12616。 
产生 这 个 结果 的 原因 是 两 个 线程 使 用 counter .count 对 象 时 发 生 了 竞 态 条 件 ( 即 代码 行为 取决 于 
各 操作 的 时 序 )。 


如 果 不 能 理解 上 面 这 段 话 ， 那 让 我 们 来 考虑 一 下 Java 编 译 器 是 如 何 解释 ++count 的 。 其 字 节 
但 是 : 

getfield #2 

iconst 1 

liadd 

putfield #2 

即使 你 不 熟悉 JVM 字 闻 人 码 ， 也 可 以 揣测 出 这 段 代码 的 意图 : getfield #2 用 于 获取 count 
的 值 ，iconst 1 和 iadd 将 获得 的 值 加 1，putfietLd #2 将 更 新 的 值 写 回 count 中 。 这 就 是 通称 
的 读 - 改 - 写 〈read-modify-write ) 模式 。 

假如 两 个 线程 同时 调用 increment()， 线程 1 执行 getfield #2 ， 获 得 值 42。 在 线程 1 执行 其 
他 动作 之 前 ， 线 程 2 也 执行 了 getfield #2 ， 获 得 值 42。 糟 薰 的 是 ， 现 在 两 个 线程 都 将 获得 的 值 
加 1， 将 43 写 回 count 中 。 结 果 count 只 被 递增 了 一 次 ， 而 不 是 两 次 。 

范 态 条 件 的 解决 方案 是 对 count 进 行 同 步 ( synchronize ) 访问 。 一 种 方法 是 使 用 Java 对 象 原 
生 的 内 置 锁 〈 也 被 称 为 互 斥 锁 〈mnutex )、 管 程 ( monitor ) 或 临界 区 ( critical section ) ) 来 同步 对 
increment () 的 调用 : 


ThreadsLocks/CountingFixed/src/main/java/com/paulbutcher/Counting.java 


class Counter { 
private int count = 0; 
> public synchronized void increment() { ++count; } 
public int getCount() { return count; } 


} 

线程 进入 increment () 函数 时 ， 将 获取 Counter 对 象 级 别 的 锁 ， 函 数 返 回 时 将 释放 该 锁 。 某 
一 时 间 至 多 有 一 个 线程 可 以 执行 限 数 体 ， 其 他 线程 调用 因数 时 将 被 阻塞 直到 锁 被 释放 ( 稍 后 我 们 
将 了 解 到 : 对 于 这 种 只 涉及 一 个 变量 的 互 斥 场景 ， 使 用 java.utit.concurrnet.atomic 包 是 更 
好 的 选择 )。 

二 庸 置疑， 对 于 增加 了 同步 功能 的 代码 ， 每 次 执行 都 将 得 到 正确 结果 20000 。 

但 前 路 误 漫 一 一 代码 中 仍 隐 疙 了 一 个 bug， 我 们 马上 介绍 其 中 的 关 短 。 


诡异 的 内 存 
我 们 用 一 个 小 测试 来 开场 ， 请 猜测 一 下 这 段 代码 的 输出 
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ThreadsLocks/Puzzle/src/main/java/com/paulbutcher/Puzzle.java 


Line1 public class Puzzle { 
static boolean answerReady = false; 
static int answer = 0; 
static Thread tl = new Thread() { 
5 public void run() { 
- answer = 42; 
answerReady = true; 
} 
- }; 
10 static Thread t2 = new Thread() { 
public void run() { 
if (answerReady) 


System.out.println("The meaning of life is: " + answer); 
else 
15 System.out.println("I don't Know the answer"); 
} 
下 
public static void main(String[] args) throws InterruptedException { 
20 tl.start(); t2.start(); 
tl1.join(); t2.join(); 
= 
- } 


如 末 你 的 第 一 反应 是 “ 竞 态 条 件 ”， 那 么 茶 喜 你 答对 了 。 根 据 线程 执行 的 时 序 ， 这 段 代 码 的 
可 能 是 The meaning of life is XX 或 者 1 don 1 know the answer。 但 不 止 于 此 ， 还 有 一 种 结果 可 


The meaning of life is: 0 


什么 ?! 当 answerReady 为 true 时 answer 可 能 为 0 吗 ” 这 仿佛 是 第 6 行 和 第 7 行 在 我 们 眼皮 底 
下 颠倒 了 执行 顺序 。 


但 是 乱 序 执行 是 完全 有 可 能 发 生 的 。 以 下 所 述 均 为 事实 : 


口 编译 器 的 静态 优化 可 以 打 乱 代码 的 执行 顺序 ; 
口 JVM 的 动态 优化 也 会 打 乱 代码 的 执行 顺序 ; 
口 便 件 可 以 通过 乱 序 执行 来 优化 其 性 能 。 


比 乱 友 执行 更 粳 糕 的 是 ， 有 时 一 个 线程 产生 的 修改 可 能 对 为 一 个 线程 不 可 见 。 如 采 将 run() 
写成 : 
public void run() { 
while (!answerReady ) 
Thread.sleep(100); 


System.out.println("The meaning of life is: " + answer); 


} 
answerReady 可 能 不 会 变 成 true， 代 码 运 行 后 无 法 退出 。 


12 第 2 章 线程 与 锁 


从 下 和 党 上 来 说 ， 编 详 肖 、JVM 、 便 件 神 不 应 插手 修改 原本 的 代码 逻辑 。 但 是 ， 近 几 年 的 运行 
效率 提升 , 尤其 是 共享 内 存 架 构 的 运行 效率 提升 ,都 仰 仗 于 此 类 代码 优化 。 因 此 我 们 也 无 法 摆脱 
此 类 优化 的 副作用 的 影响 。 


显然 ， 需 要 有 标准 来 明确 告诉 我 们 ， 可 能 发 生 怎 样 的 副作用 ， 这 就 是 Java 内 存 模型 。 


内 存 可 见 性 


Java 内 存 模型 定义 了 何 时 一 个 线程 对 内 存 的 修改 对 另 一 个 线程 可 见 "。 基 本 原则 是 ， 如 果 读 
线程 和 写 线程 不 进行 同步 ， 就 不 能 保证 可 见 性 。 


我 们 已 经 见 过 一 种 同步 的 方法 一 一 就 是 通过 获取 对 象 的 内 置 锁 。 其 他 的 方法 包括 : 开启 一 个 
线程 并 通过 join () 检 查 线程 是 否 已 经 终止 ; 使 用 java.util.concurrent 包 提供 的 工具 。 


很 容易 被 忽略 的 一 个 重点 是 : 两 个 线程 都 需要 进行 同步 。 只 在 其 中 一 个 线程 进行 同步 是 不 够 
的 ， 这 正 是 之 前 元 态 条 件 解 决 方 采 中 潜藏 bug 的 原因 : 除了 increment() 之 外 ，getCount ( ) 方 法 
也 需要 进行 同步 。 否 则 ， 调 用 getCount( ) 的 线程 可 能 获得 一 个 失效 的 值 (对 于 前 面 交 互 的 两 个 
线程 ，getCount() 在 join() 之 后 被 调用 ， 因 此 是 线程 安全 的 。 但 这 种 设计 为 其 他 调用 
getCounter() 的 代码 埋 下 了 隐患 )。 


至 此 ， 我 们 讨论 了 苋 态 条 件 和 内 存 可 见 性 ， 这 两 类 问题 都 可 能 让 多 线程 程序 运行 结 采 出 错 。 
下 面 我 们 将 介绍 第 三 类 问题 : 死 锁 。 


多 把 锁 


综 上 所 述 , 很 容易 得 出 一 个 结论 :让 多 线程 代码 安全 运行 的 方法 只 能 是 让 所 有 的 方法 都 同步 。 
然而 ， 这 也 会 市 来 问题 。 

首先 这 样 做 效率 低下 。 如 果 每 个 方法 都 同步 ， 大 多数 线程 会 频繁 阻 窄 ,使 程序 失去 了 并 发 的 
意义 。 问 题 不 止 于 此 ， 当 使 用 多 把 锁 时 ( Java 中 每 一 个 对 象 都 有 自己 的 内 置 锁 ”)， 线程 之 间 可 能 
发 生死 锁 。 

我 们 将 什 助 一 个 学 术 论 文中 经 党 使 用 的 经 典 模型 来 诠释 死 锁 一 一 哲学 家 进餐 问题 。 问题 场景 
是 五 位 哲学 家 围绕 一 个 圆 泉 就 从 ， 如 图 2-1 所 示 ， 桌 上 摆 着 五 文 (不 是 五 双 ) 钳子。 

哲学 家 的 状态 可 能 是 “思考 ”或 者 “ 饥 俄 ” 。 如 末 饥 俄 ， 哲 学 家 将 拿 起 他 两 边 的 筷子 并 进餐 
一 段 时 间 ( 当然 ， 这 些 哲学 家 都 是 必 性 ， 女 性 在 餐 果 上 会 更 优雅 一 些 )。 进 餐 结 束 ， 哲 学 家 就 会 
放 回 筷子 。 


GD http://docs.oracle.com/javase/specs/jls/se7/html/jls-17.html#1ls-17.4 
Q 对 不 同 对 象 的 方法 进行 同步 就 会 用 到 多 把 锁 。 一 一 译 者 注 
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-1 哲学 家 进餐 问题 


下 面 的 代码 实现 了 哲学 家 的 行为 : 


ThreadsLocks/DiningPhilosophers/src/main/java/com/paulbutcher/Philosopher.java 


Line 1 class Philosopher extends Thread { 
private Chopstick left, right; 
private Random random; 


5 public Philosopher(Chopstick left, Chopstick right) { 
- this.left = left; this.right = right; 
random = new Random(); 


} 
10 public void run() { 
try { 
while(true) { 
Thread.sleep(random.nextInt(1000)); // 思考 一 段 时 间 
- synchronized(left) { // 拿 起 化 子 1 
15 synchronized(right) { // 拿 起 合子 2 
- Thread.sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} 
} 
} 
20 } catch(InterruptedException e) {1} 
} 


= 中 
第 14、15 行 使 用 了 另 一 种 方式 "来 获取 对 象 的 内 置 锁 : synchronized(object)。 


在 我 的 计算 机 上 测试 过 五 个 哲学 家 实例 ， 它 们 可 以 愉快 地 运行 很 人 ( 最 长 时 间 是 一 周 )， 下 
到 茶 个 时 刻 一 切 突 然 都 停 了 下 来 。 


稍 加 分 析 就 知道 发 生 了 什么 : 如 果 所 有 哲学 家 同时 决定 进餐 ,， 禾 拿 起 左手 边 的 贷 子 ,那么 网 


Q 第 一 种 方式 是 在 函数 上 使 用 synchronized 关 键 字 。 一 -一 译 者 注 
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无 法 进行 下 去 一 一 所 有 人 都 持 有 一 只 和 贷 子 并 等 竺 有 手边 的 人 放下 筑 子 。 这 时 死 锁 台 出 现 了 。 


一 个 线程 想 使 用 多 把 锁 时 ， 就 需要 考虑 死 锁 的 可 能 。 幸 运 的 是 ,有 一 个 简单 的 规则 可 以 避 开 
死 锁 一 总 是 按照 一 个 全 局 的 固定 的 顺序 获取 多 把 锁 。 


其 中 一 种 实现 如 下 : 


ThreadsLocks/DiningPhilosophersFixed/src/main/java/com/paulbutcher/Philosopher.java 
class Philosopher extends Thread { 

private Chopstick first, second; 

private Random random; 


v 


public Philosopher(Chopstick left, Chopstick right) { 
if(left.getId() < right.getId()) { 
first = left; second = right; 
} else 1{ 
first = right; second = left; 
} 
random = new Random( ) ; 


} 


Vvvyvyv 


public void run() { 
try 1{ 
while(true) { 
Thread.sleep(random.nextInt(1000)); // 思考 一 段 时 间 
> synchronized(first) { // 拿 起 筷子 1 
> synchronized(second) { // 拿 起 人 筷子 2 
Thread.sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} 
} 
} 
} catch(InterruptedException e) {} 
} 
} 


我 们 不 再 按 左 手边 和 右手 边 的 顺序 拿 起 筷子 ， 而 是 按照 馈 子 的 编号 获得 编号 1 和 编号 2 的 锁 
(我 们 并 不 关心 编号 的 具体 规则 ， 只 要 保证 编号 是 全 局 唯 ee ee 
百 愉快 地 进行 下 去 而 不 会 突然 卡 住 。 


不 难 想到 ,如 采 获 取 锁 的 代码 写 得 比较 集中 ,就 有 利于 维护 这 个 全 局 顺序 。 而 对 于 规模 较 大 
的 程序 ， 使 用 锁 的 地 方 比 较 零 散 ， 各 处 虱 这 守 这 个 顺序 就 变 得 不 太 实 际 。 


W 小 乔 爱 问 : 
法 。 可 以 用 对 象 的 散 列 值 作为 锁 的 全 局 顺序 吗 ? 


有 一 个 常用 的 技巧 是 使 用 对 象 的 散 列 值 作为 锁 的 全 局 顺序 ， 类 似 于 下 面 的 代码 : 


if(System.identityHashCode(left) < System.identityHashCode(right)) { 
first = left; second = right,; 
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} else { 
first = right; second = left; 


} 


这 个 技巧 的 好 处 是 适用 于 所 有 Java 对 象 ， 不 用 为 锁 对 象 专门 定义 并 维护 一 个 顺序 。 但 
是 对 象 的 散 列 值 并 不 能 保证 唯一 性 (虽然 几率 很 小 ， 但 对 象 的 艇 列 值 确实 可 能 重复 ) 。 我 的 
上 训 是 如 果 丰 和 过 不 得 已， 不 要 代用 这 个 拒 国 国 


来 自 外 星 方法 的 危害 


规模 较 大 的 程序 常用 监听 器 模式 (listener ) 来 解 耦 模块 。 在 这 里 , 我们 构造 一 个 类 从 一 个 URL 
进行 下 载 ， 并 用 ProgressListeners 监 听 下 载 的 进度 。 


ThreadsLocks/HttpDownload/src/main/java/com/paulbutcher/Downloader.java 


class Downloader extends Thread { 
private InputStream in; 
private OutputStream out; 
private ArrayList<ProgressListener> listeners; 


public Downloader(URL url, String outputFilename) throws IOException { 
in = url.openConnection().getInputStream(); 
out = new FileOutputStream(outputFilename); 
Listeners = new ArrayList<ProgressListener>(); 

} 

public synchronized void addListener(ProgressListener listener) { 
listeners.add(listener); 

} 

public synchronized void removeListener(ProgressListener listener) { 
Listeners, remove(Listener) ; 

} 

private synchronized void updateProgress(int n) { 
for (ProgressListener listener: listeners) 

Listener.onProgress(n) ; 


} 


public void run() { 
int n = 0, total = 0; 
byte[] buffer = new byte[1024]; 


try { 
while((n = in,.read(buffer)) != -1) { 
out.write(buffer, 0, n); 
total += nN; 
updateProgress (total); 
} 
out,.flush(); 
} catch (IOException e) { } 
} 
} 
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addListener()、removeListener() 和 updateProgress() 都 是 同步 方法 ， 多 线程 可 以 安 
全 地 使 用 这 些 方法 。 尽 管 这 段 代码 仅 使 用 了 一 把 锁 ， 但 仍 隐 藏 春 一 个 死 锁 陷 阱 。 

陷阱 在 于 updateProgress() 调 用 了 一 个 外 星 方法 一 一 但 对 于 这 个 外 星 方法 一 无 所 知 。 外 星 
方法 可 以 做 任何 事情 ， 例 如 持 有 另外 一 把 锁 。 这 样 一 来 ,我 们 就 在 对 加 锁 顺 序 一 无 所 知 的 情况 下 
使 用 了 两 把 锁 。 就 像 前 面 提 到 的 ， 这 就 有 可 能 发 生死 锁 。 

唯一 的 解决 思路 是 避免 持 有 锁 时 调用 外 星 方法 。 一 种 方法 是 在 过 历 之 前 对 Listeners 进 行 保 
护 性 复制 〈defensive copy ) ， 再 针对 这 份 副 本 进行 过 历 : 


ThreadsLocks/HttpDownloadFixed/src/main/java/com/paulbutcher/Downloader.java 
private void updateProgress(int n) { 
ArrayList<ProgressListener> listenersCopy; 
synchronized(this) { 
> ListenersCopy = (ArrayList<ProgressListener>)listeners.clonel(); 
} 
for (ProgressListener listener: listenersCopy) 
Listener.onProgress(n) ; 


} 


这 是 个 一 石 多 鸟 的 方法 。 不 仅 在 调用 外 星 方法 时 不 用 加 锁 , 而 且 大 大 减少 了 代码 持 有 锁 的 时 
间 。 长 时 间 地 持 有 锁 将 影响 性 能 〈 降低 了 程序 的 并 发 度 )， 也 会 增加 死 锁 的 可 能 。 保 护 性 复制 也 修 
复 了 与 并 发 无 关 的 另 一 个 bug 一 一 修复 后 如 果 监 听 需 在 onProgress ( ) 中 调用 removeListener() ， 
将 不 会 影响 到 正在 进行 遍历 的 副本 。 


第 一 天 总 结 

第 一 天 的 学 习 即 将 结束 。 我 们 通过 代码 学 习 了 Java 多 线程 的 基础 ， 在 第 二 天 的 学 习 中 将 介绍 
标准 库 提 供 的 更 好 的 实现 方式 。 

第 一 天 我 们 学 到 了 什么 

本 市 介 绍 了 如 何 创建 线程 ， 并 用 Java 对 和 象 的 内 置 锁 实现 互 斥 。 还 介绍 了 线程 与 锁 模 型 融 来 的 
三 个 主要 危害 一 一 范 态 条 件 、 死 锁 和 内 存 可 见 性 ， 并 讨论 了 一 些 帮 助 我 们 避免 危 害 的 准则 : 

口 对 共享 变量 的 所 有 访问 都 需要 同步 化 ; 

口 谈 线 程 和 写 线 程 都 需要 同步 化 ; 

口 按 照 约 定 的 全 局 顺序 来 获取 多 把 锁 ; 

口 当 持 有 锁 时 避 倪 调用 外 星 方法 ; 

口 持 有 锁 的 时 间 应 尽 可 能 短 。 

第 一 天 自习 

查找 

口 阅读 William Pugh 的 网 站 “Java 内 存 模型 ”。 
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口 自学 JSR 133( Java 内 存 模 型 ) 的 FAQ。 
口 Java 内 存 模型 是 如 何 保证 对 象 初始 化 是 线程 安全 的 ? 是 否 必须 通过 加 锁 才 能 在 线程 之 间 


安全 地 公开 对 象 ? 
口 了 解 反 模式 “双重 检查 锁 模 式 ”( double-checked locking ) 以 及 为 什么 称 其 为 反 模 式 。 
实践 


口 对 于 哲学 家 进餐 问题 ， 用 最 开始 有 死 锁 隐 患 的 代码 做 一 些 试验 。 尝 试 变 更 哲学 家 思考 状 
态 的 时 长 、 进 餐 状 态 的 时 长 以 及 哲学 家 的 人 数 。 这 些 变 量 对 于 出 现 死 锁 的 时 机 有 什么 影 
啊 ? 设想 我 们 正在 进行 调试 ， 那 应 该 如 何 增 大 重 现 死 锁 的 几率 ? 

口 (困难 ) 编写 一 段 程序 ， 在 不 使 用 同步 的 前 提 下 ， 模 拟 内 存 写 操作 的 乱 厅 执行 。 这 个 任 
务 之 所 以 有 难度 , 是 因为 Java 内 存 模型 可 能 不 会 优化 过 于 简单 的 例子 , 故 找到 这 个 优化 场 
景 比较 困难 。 


第 一 天 我 们 学 习 了 Java 的 Thread 类 和 Java 对 和 象 的 内 置 锁 。 在 过 去 的 很 长 一 段 时 间 内 ， 这 几乎 
是 Java 对 并 发 编程 提供 的 所 有 支持 。Java 5 通过 3 引入 java.util.concurrent 包 改善 这 个 状况 。 
今天 我 们 将 学 习 这 种 增强 的 锁 机 制 。 

内 置 锁 虽然 方便 但 限制 很 多 : 

口 一 个 线程 因为 等 待 内 置 锁 而 进入 阻塞 之 后 ， 束 无 法 中 汤 该 线程 了 ; 

口 尝试 获取 内 置 锁 时 ， 无 法 设置 超时 ; 

口 获得 内 置 锁 ， 必 须 使 用 synchronized 块 。 

synchronized(object) { 

《使 用 共享 资源 > 

} 

这 种 用 法 的 限制 是 获取 锁 和 释放 锁 的 代码 必须 严格 磐 在 同一 个 方法 中 。 另 外 ， 声 明 
synchronized 的 函数 其 实 只 是 个 “语法 糖 *"， 其 等 价 于 将 函数 体 按 以 下 形式 进行 包装 : 

synchronized(this) { 


« 豫 数 体 》 
} 


与 synchronized 不 同 ，ReentrantLock 提 供 了 显 式 的 Lock 和 untLock 方 法 , 可 以 突破 上 述 几 
个 限制 。 


在 深入 学 习 之 前 ， 先 来 看 一 下 Reent rantLock 是 如 何 蔡 代 synchronized 工 作 的 : 


Lock Lock = new ReentrantLock'( ) ; 
tock. Lock(); 
try { 
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《使 用 共享 资源 > 
} finally { 
Lock.unLock( ) ; 
} 


这 段 代 码 中 ,使 用 try ... finally 是 个 很 好 的 实践 ， 无 论 被 锁 保护 的 代码 发 生 了 什么 ， 都 
可 以 确保 锁 会 被 释放 。 
现在 我 们 来 看 看 Reent rantLock 是 如 何 突破 限制 的 。 


可 中 断 的 锁 


使 用 内 置 锁 时 ， 由 于 阻塞 的 线程 无 法 被 中 断 ， 程 序 不 可 能 从 死 锁 中 恢复 。 我 们 来 看 一 个 小 例 
子 ， 制 造 一 个 死 锁 并 答 试 中 断 线 程 。 


ThreadsLocks/Uninterruptible/src/main/java/com/paulbutcher/Uninterruptible.java 
public class Uninterruptible { 


public static void main(String[] args) throws InterruptedException { 
final Object ol = new Object(); final Object 02 = new Object(); 


Thread tl = new Thread() { 
public void run() { 
try { 
synchronized(ol1) { 
Thread. sleep(1000); 
synchronized(o02) {} 
} 
} catch (InterruptedException e) { System.out.println("t1 interrupted"); } 
} 
}3 


Thread t2 = new Thread() { 
public void run() { 
try 1{ 
synchronized(o2) { 
Thread. sleep(1000); 
synchronized(ol1) {} 
} 
} catch (InterruptedException e) { System.out.println("t2 interrupted"); } 
} 
}; 


tl.start(); t2,start()， 

Thread .sLeep(2000 ) ; 
tl1.interrupt(); t2.interrupt(); 
t1.join(); t2.join(); 
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这 上段 程序 将 永远 死 锁 下 去 一 一 跳出 死 锁 唯 一 的 方法 是 终止 JVM 的 运行 。 


WW 小 乔 爱 问 : 
过。” 真 的 没 办 法 终止 死 锁 的 线程 吗 ? 


你 可 能 认为 肯定 有 某 种 方法 来 终止 一 个 死 锁 线程 。 遗憾 的 是 确实 没有 。 所 有 这 类 方法 都 
被 证 明 有 缺陷 而 不 推荐 使 用 。” 

终止 线程 的 最 终 手 段 是 让 run() 驹 数 返 回 (可 能 是 通过 抛 出 InterruptedException) 。 
不 过 ， 如 果 你 的 线程 由 于 等 待 内 置 锁 而 陷入 死 锁 ， 且 不 能 中 断 其 等 待 锁 的 状态 ,那么 要 终止 
死 锁 线程 就 只 剩 下 终止 JVM 运行 这 条 路 了 。 


a. http://docs.oracle.com/Javase/1.5.0/docs/euide/misc/threadPrimitiveDeprecation.html 


不 过 还 是 有 办 法 解决 这 个 限制 的 。 我 们 可 以 用 ReentrantLock 蔡 代 内 置 锁 ， 使 用 它 的 
LockInterruptibLy() 方 法 : 


ThreadsLocks/Interruptible/src/main/java/com/paulbutcher/Interruptible.java 


final ReentrantLock 11 
final ReentrantLock 12 


= new ReentrantLock(): 
= new ReentrantLock(): 
Thread tl = new Thread() { 

public void run() { 


try + 
> L1L.LockInterruptibLy() ; 
Thread. sleep(1000); 
> L2.LockInterruptibLy() ; 
} catch (InterruptedException e) { System.out.println("t1 interrupted"); } 


} 
后 
这 一 次 Thread.interrupt() 可 以 让 线程 终止 。 代 三 的 确 比 之 前 稍微 复杂 一 点 ， 这 就 算是 为 
中 断 死 锁 线 程 付 出 的 一 点 代价 吧 。 


超时 


Reent rantLock 突 破 了 内 置 锁 的 另 一 个 限制 : 可 以 为 获取 人 锁 的 操作 设置 超时 时 间 。 利 用 这 个 
功能 ， 我 们 可 以 通过 另 一 种 方法 来 解决 第 一 天 的 哲学 家 进餐 问题 。 


下 面 是 修改 后 的 Philosopher 类 ， 拿 起 两 根 筷子 失败 时 会 超时 : 


ThreadsLocks/DiningPhilosophersTimeout/src/main/java/com/paulbutcher/Philosopher.java 


class Philosopher extends Thread { 
private ReentrantLock leftChopstick, rightChopstick; 
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private Random random; 


public PhiLosopher(ReentrantLock LeftChopstick，ReentrantLock rightChopstick) { 
this.leftChopstick = leftChopstick; this.rightChopstick = rightChopstick; 
random = new Random(); 


} 


public void run() { 
try { 
while(true) { 
Thread.sleep(random.nextInt(1000)); // 思考 一 段 时 间 
leftChopstick. lock(); 
try { 
> if (rightChopstick.tryLock(1000, TimeUnit.MILLISECONDS)) { 
// 获取 右手 边 的 合子 
try { 
Thread.sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} finally { rightChopstick.unlock(); } 
} else fl 
> // 没有 获取 到 右手 边 的 化 子 ， 放 育 并 继续 思考 
} 
} finally { leftChopstick,.unlock(); } 
} 
} catch(InterruptedException e) {} 
} 
} 


这 段 代 码 用 到 了 tryLock()。 相 比 Lock(), 它 在 获取 锁 失 败 时 有 超时 机 制 。 我 们 虽然 没有 这 
循 “ 按 全 局 的 固定 的 顺序 获取 锁 ” 的 准则 , 但 这 个 版 本 的 代码 并 不 会 死 锁 〈 至 少 不 会 无 尽 地 死 锁 
下 去 )。 


活 锁 


虽然 tryLock() 方 案 避 免 了 无 尽 地 死 锁 ， 但 这 并 不 是 一 个 足够 好 的 方案 。 首 先 ， 这 个 方 
委 并 不 能 避免 死 锁 一 一 它 只 是 提供 了 从 死 锁 中 恢复 的 手段 。 其 次 ， 这 个 方案 会 受到 活 锁 现象 
的 影响 一 一 如 果 所 有 死 锁 线程 同时 超时 ， 它 们 极 有 可 能 再 次 陷入 死 锁 。 虽 然 死 锁 没 有 永远 持 
续 下 去 ,但 对 资源 的 争夺 状况 却 没有 得 到 任何 改善 。 

有 一 些 方 法 可 以 减 小 活 锁 的 几率 。 比 如 为 每 个 线程 设置 不 同 的 超时 时 间 ， 米 减少 所 有 线 
程 同时 超时 的 几率 ,但 通过 设置 超时 来 处 理 死 锁 不 能 说 是 一 个 好 的 方案 一 一 以 后 我 们 还 可 以 
做 得 更 好 。 


交替 锁 (hand-over-hand locking) 


设想 我 们 要 在 链表 中 插入 一 个 市 点 。 一 种 做 法 是 用 锁 保 护 整 个 链表 , 但 链表 加 锁 时 其 他 使 用 
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者 无 法 访问 链表 。 而 交替 锁 可 以 只 锁 住 链表 的 一 部 分 ， 人 允许 不 涉及 被 锁 部 分 的 其 他 线程 目 由 访问 
链表 ， 如 图 2-2 所 示 。 


一 


a 
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图 2-2 交替 销 


插入 新 的 链表 市 点 时 , 需要 将 得 插入 位 置 两 边 的 市 点 加 锁 。 首 先 锁 住 链表 的 前 两 个 太 点 。 如 
末 这 两 市 点 之 间 不 是 得 插入 位 置 ， 那么 就 解锁 第 一 个 广 点 ， 并 锁 住 第 三 个 太 点 。 如 来 彼 锁 住 的 两 
节点 之 间 仍 不 是 竺 搬入 位 置 ， 就 解锁 第 二 个 节点 ， 并 锁 住 第 四 个 节点 。 以 此 类 推 ， 直 到 找到 待 搬 
入 位 置 并 插入 新 的 节点 ， 最 后 解锁 两 边 的 市 点 。 


这 种 交 蔡 式 的 加 锁 和 人 解锁 顺序 是 无 法 用 内 置 锁 实现 的 ,但 使 用 ReentrantLock 就 可 以 在 需要 
的 地 方 调 用 Lock() 和 untLock() 。 我 们 用 下 面 的 类 来 实现 使 用 交 蔡 锁 的 有 序 链 表 。 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/ConcurrentSortedList.java 


Line1 class ConcurrentSortedList { 


private class Node { 
int value; 
5 Node prev; 
Node next ; 
ReentrantLock Lock = new ReentrantLock( ) ; 


Node() {} 
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10 
Node(int value, Node prev, Node next) { 
this.value = value; this.prev = prev; this.next = next; 
} 
= 
15 
private final Node head; 
private final Node tail; 
public ConcurrentSortedList() { 
20 head = new Node(); tail = new Node(); 


head.next = tail; tail.prev = head; 


} 


- public void insert(int value) { 
25 Node current = head; 
current. lock. Lock(); 
Node next = current.next,; 
try { 
while (true) { 
30 next. lock. Lock(); 
try { 
if (next == tail || next.value < value) { 
Node node = new Node(value, current, next); 
next.prev = node; 
35 current ,next = node; 
return; 
} 
} finally { current.lock.unlock(); } 
current = next; 
40 next = current.next; 
} 
} finally { next,lock.unlock(); } 
< 于 
= 

insert() 方 法 保证 链表 是 有 序 的 : 过 有 历 链 表 百 到 找到 第 一 个 值 小 于 新 插入 值 的 节点 位 置 , 在 
这 个 位 置 前 插入 新 节点 。 

第 26 行 锁 住 了 链表 的 头 节 点 ， 第 30 行 锁 住 了 下 一 个 布 点 。 接 下 来 检测 两 个 和 节点 之 间 是 否 是 
待 插入 位 置 。 如 采 不 是 ， 则 在 第 38 行 解锁 当前 节点 并 继续 过 历 。 如 果 找 到 竺 插入 位 置 ， 第 33~36 
行 构造 新 节点 并 将 其 插入 链表 后 返回 。 两 把 锁 的 解锁 操作 在 两 个 finatty 块 中 进行 (第 38 行 和 
第 42 行 )。 

这 种 方案 不 仪 可 以 让 多 个 线程 并 发 地 进行 链表 插入 操作 ， 还 能 让 其 他 的 链表 操作 安全 地 并 
发 。 比 如 计算 链表 市 点 个 数 ， 只 需 倒 序 壳 历 链 表 即 可 . 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/ConcurrentSortedList.java 
public int size() { 

Node current = tail; 

int count = 0; 
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while (current,prev 1! 
ReentrantLock Lock 
lock. Lock( ) ; 
try { 

++COUNt; 
current = current.prev; 
} finally { lock.unlock(); } 

} 


head) { 
current. Lock; 


return count; 


} 


IW 小 乔 爱 问 : 
过 ”难道 不 会 违背 “全 局 顺序 ”规则 吗 ? 


ConcurrentSortedList 的 Insert() 方 法 从 链表 头 开 始 向 链表 尾 依次 获取 锁 。Ssize() 
万 法 从 链表 尾 向 链表 头 依次 获取 锁 。 难 道 这 样 不 违背 “总 是 按照 一 个 全 局 的 固定 的 顺序 获取 
多 把 锁 ” 的 规则 吗 ? 


答案 是 并 不 违背 , 因为 size() 方 法 从 不 持 有 多 把 锁 
的 锁 。 


接 下 来 我 们 学 习 ReentrantLock 的 另 一 个 特性 


其 在 某 一 时 间 并 不 持 有 一 把 以 上 


| 


条 件 变 量 

并 发 编程 经 凋 需 要 等 待 菜 个 事件 发 生 。 比 如 从 队列 删除 元 系 前 需要 等 待 队列 非 空 、 回 缓存 沫 
加 数据 前 需要 等 每 缓存 有 足够 的 空间 。 条 件 变 量 就 是 为 这 种 情况 而 设计 的 。 

建议 按照 下 面 的 模式 使 用 条 件 变 量 : 


ReentrantLock lock = new ReentrantLock(); 
Condition condition = lock.newCondition(): 


lock. lock(); 
try { 
while (1« 条 件 为 真 >) 
condition.await(); 
《使 用 共享 资源 > 
} finally { lock.unlock(); } 


一 个 条 件 变量 需要 与 一 把 锁 关联 , 线程 在 开始 等 竺 条件 之 前 必须 获取 这 把 锁 。 获 取 锁 后 , 线 
程 检查 所 等 得 的 条 件 是 否 已 经 为 真 。 如 果 条 件 为 真 ， 线 程 将 解锁 并 继续 执行 。 
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如 果 所 等 待 的 条 件 不 为 真 ， 线 程 会 调用 await() ， 它 将 原子 地 解锁 并 阻塞 等 待 该 条 件 。 所 谓 
一 个 操作 是 原子 的 , 指 的 是 从 男 一 个 线程 的 角度 看 上 去 , 该 操作 的 状态 只 能 是 “已 发 生 ” 或 者 “未 
发 生 ”， 而 不 会 是 发 生 了 一 半 。 

当 另 一 个 线程 调用 了 signatL() 或 signaLALL() ， 意 味 着 对 应 的 条 件 可 能 变 为 真 ，await ( ) 
将 原子 地 恢复 运行 并 重新 加 锁 。 需 要 注意 的 是 当 await( ) 郴 数 返回 时 ， 只 意味 着 等 待 的 条 件 可 能 
为 真 。 这 就 是 为 什么 要 在 一 个 循环 中 调用 await() 的 原因 一 一 从 await() 返 回 后 ， 需 要 重新 检查 
等 待 的 条 件 是 否 为 真 ， 必 要 的 话 可 能 再 次 调用 await() 并 阻塞 。 


我 们 又 有 了 解决 “哲学 家 进餐 问题 ”的 新 方法 : 


ThreadsLocks/DiningPhilosophersCondition/src/main/java/com/paulbutcher/Philosopher.java 
class Philosopher extends Thread { 


private boolean eating; 
private Philosopher left; 
private Philosopher right; 
private ReentrantLock table; 
private Condition condition; 
private Random random; 
pubLic Philosopher (ReentrantLock table) { 
eating = false.; 
this.table = table; 
condition = table.newCondition(); 
random = new Random(); 


} 


public void setLeft(Philosopher left) { this.Left = Left; } 
public void setRight(Philosopher right) { this.right = right; } 


public void run() { 
try { 
while (true) { 
think(); 
eat () ; 
} 
} catch (InterruptedException e) {} 
} 


private void think() throws InterruptedException { 
table. Lock(); 
try 1{ 
eating = false,; 
left.condition.signal(); 
right.condition.signal(); 
} finally { table.unlock(); } 
Thread .sLeep(1000 ) ; 
} 


private void eat() throws InterruptedException { 
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table. Lock(); 
try { 
while (left.eating || right.eating) 
condition.await(); 
eating = true; 
} finally { table.unlock(); } 
Thread .sLeep(1000 ) ; 
} 
} 
与 之 前 不 同 , 现在 的 方法 只 使 用 一 把 锁 (table ), 且 没 有 Chopstick 类 。, 我 们 将 竞争 从 对 秘 
子 的 争夺 转换 成 了 对 状态 的 判断 : 仅 当 哲学 家 的 左右 邻 座 都 没有 进餐 时 ， 他 才 可 以 进餐 。 换 句 话 
说 ， 一 个 饥饿 的 哲学 家 是 在 等 竺 下 面 的 条 件 : 


!(left.eating || right.eating) 


当 一 个 百 学 家 饥饿 时 , 他 首先 锁 住 餐 果 ， 这样 其 他 哲学 家 无 法 改变 状态 ,然后 查看 左右 邻 座 
是 否 正 在 进餐 。 如 琳 没 有 , 那么 该 哲学 家 开始 进 盘 并 解锁 换 困 。 人 否则 其 调用 await () 以 解锁 餐 果 。 


当 一 个 哲学 家 进餐 结束 并 开始 思考 时 , 他 首先 锁 住 餐 旧 并 将 eating 设 为 faLse， 然 后 通知 左 
右 邻 座 可 以 进餐 了 ， 最 后 解锁 餐 和 更。 如 果 左 右 邻 座 目 前 正在 等 待 , 那么 他 们 将 被 唤醒 ， 重 新 锁 住 
餐 昌 ， 并 判断 是 否 可 以 开始 进餐 。 

虽然 这 段 代码 看 上 去 比 之 前 的 解决 方案 复杂 得 多 , 但 换 来 的 是 并 发 度 的 显著 提升 。 在 前 一 个 
解决 方案 中 , 经 稼 出 现 的 状况 是 只 有 一 个 哲学 家 能 进餐 , 因为 其 他 人 都 持 有 一 根 筷子 并 在 等 待 另 
外 一 根 。 在 这 个 解决 方案 中 ， 当 一 个 哲学 家 理论 上 可 以 进餐 (他 的 邻 座 都 没有 进餐 ) 时 ,他 肯定 
可 以 进餐 。 

我 们 已 经 介绍 了 ReentrantLock。 下 面 将 介绍 另 一 个 内 置 锁 的 蔡 代 方案 一 一 原子 变量 。 


原子 变量 


在 第 一 天 的 学 习 中 ， 我 们 为 多 线程 计数 冀 的 ijncrement() 方 法 增加 了 同步 特性 (人 参见 2.2 节 
的 “第 一 把 锁 ” 部 分 )。java.util.concurrent.atomic 包 提供 了 更 好 的 方案 : 


ThreadsLocks/CountingBetter/src/main/java/com/paulbutcher/Counting.java 


public class Counting { 
public static void main(String[] args) throws InterruptedException { 


> final AtomicInteger counter = new AtomicInteger(); 


class CountingThread extends Thread { 
public void run() { 
for(int x = 0; x < 10000; ++x) 
> counter.incrementAndGet ( ) ; 


26 第 2 章 ”线程 与 锁 


CountingThread tl] 
CountingThread 七 2 


new CountingThread(); 
new CountingThread(); 


tl.start(); t2.start(); 
t1.join(); t2.join(); 


System.out.printtln(counter.get()); 
} 
} 


AtomicInteger 的 incrementAndGet () 方 法 功能 上 等 价 于 ++count (AtomicInteger 也 提供 
了 getAndIncrement 方 法 ， 等 价 于 count++ )。 不 过 与 ++count 不 同 ，incrementAndGet () 方 法 
是 原子 操作 。 


与 锁 相 比 , 使 用 原子 变量 有 诸多 好 人 处。 前 先 ， 我 们 不 会 坪 了 在 正确 的 时 候 获 取 锁 。 例 如 ， 
getCount() 起 了 同步 而 引发 的 Counter 内 存 可 见 性 的 问题 将 不 会 发 生 。 其 次 ， 由 于 没有 锁 的 参 
与 ， 对 原子 变量 的 操作 不 会 引发 死 锁 。 


最 后 ， 原 子 变量 是 无 锁 (lock-free ) 非 阻塞 (non-blocking ) 算法 的 基础 ， 这 种 算法 可 以 不 用 
锁 和 阻 寺 来 达到 同步 的 目的 。 无 锁 的 代码 比 起 有 锁 的 代码 更 为 复杂 。 等 运 的 是 ， 
java.util.concurrent 包 中 的 类 都 尽量 使 用 了 无 锁 的 代码 , 我 们 可 以 在 一 定 程 度 上 人 免 于 亲 目 实 
现 的 痛 否 。 我 们 将 在 第 三 天 来 学 习 这 些 类 ， 而 现在 先 来 完成 第 二 天 的 最 后 一 点 内 容 。 


\/ 小 乔 爱 问 : 


过 ” volatile 变量 ? 


我 们 可 以 将 Java 变量 标记 成 Volatile。 这 样 可 以 保证 变量 的 读 写 不 被 乱 序 执行 。 在 之 前 
的 测试 中 (参见 2.2 节 的 “诡异 的 内 存 ” 部 分 )， 我 们 可 以 将 answerReady 标记 成 volatile， 
来 解决 Puzzle 类 的 问题 。 

Volatile 是 一 种 低级 形式 的 同步 。 它 并 不 能 解决 Counter 的 问题 (参见 2.2 节 的 “第 一 
把 锁 ” 部 分 ) ， 因 为 将 count 标记 成 volatile 并 不 能 保证 COUnt++ 操 作 是 原子 的 。 

随 着 JVM 被 不 断 优化 , 其 提供 了 一 些 低 开销 的 锁 , volatile 变量 的 适用 场景 也 越 来 越 少 。 
如 果 你 考虑 使 用 volatile， 也 许 应 当 在 java.util.concurrent.atomic 包 中 寻找 更 合适 
J 
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我 们 在 第 一 天 的 基础 上 , 学 习 了 java.utit.concurrent ,Locks 包 和 java.utiL.concurrent . 


2.4 第 三 天 : 站 在 巨人 的 肩膀 上 9 了 


atomic 包 提供 的 更 复杂 更 灵活 的 工具 。 学 习 和 理解 这 些 工 具 很 重要 ,但 经 过 第 三 天 的 学 习 后 我 
们 就 会 发 现实 际 上 很 少 会 百 接 使 用 锁 。 


第 二 天 我 们 学 到 了 什么 


ReentrantLock 和 java.utitL.concurrent.atomic 突 破 了 使 用 内 置 锁 的 限制 ， 利 用 新 的 工 
具 我 们 可 以 做 到 

口 在 线程 获取 锁 时 中 汤 它 ; 

口 设置 线程 获取 锁 的 超时 时 间 ; 

口 按 任意 顺序 获取 和 释放 锁 ; 

口 用 条 件 变量 等 待 某 个 条 件 变 为 真 ; 

口 使 用 原子 变量 避免 锁 的 使 用 。 


第 二 天 自习 
查找 


口 ReentrantLock 创 建 时 可 以 设置 一 个 描述 公平 性 的 变量 。 什 么 是 “公平 ”的 锁 ? 何 时 适 
合 使 用 公平 的 锁 ? 使 用 非 公 平 的 锁 会 怎样 ? 

口 什么 是 ReentrantReadWriteLock? 它 与 ReentrantLock 有 什么 区 别 ” 适用 于 什么 场景 ? 

口 什么 是 “虚假 唤醒 ”( spurious wakeup ) ? 什么 时 候 会 发 生 虚 假 噬 醒 ? 为 什么 符合 规范 的 
代码 不 用 担心 虚假 唤醒 ? 

口 什么 是 AtomicIntegerFieldUpdater? 它 与 AtomicInteger 有 什么 区 别 ? 适用 于 什么 
场景 ? 

实践 


口 在 用 条 件 变 量 解 决 哲 学 家 进餐 问题 时 ， 如 果 将 条 件 变 量 所 在 的 循环 换 成 if 会 发 生 什 么 ? 
将 看 到 哪些 失败 的 现象 ”如 果 将 signal() 换 成 signalAll() 会 发 生 什么 ”会 引发 什么 
问题 ? 

口 内置 锁 比 ReentrantLock 限 制 更 多 ， 与 之 类 似 ， 内 置 锁 也 文 持 一 种 限制 较 多 的 条 件 变 量 。 
用 内 置 锁 、wait()、notify() 或 notifyAll() 重 新 解决 哲学 家 进餐 问题 。 为 什么 内 置 锁 
比 ReentrantLock 效 率 更 低 ? 

口 重 写 ConcurrentSortedList, 用 一 把 锁 代 蔡 交 蔡 锁 。 测 试 两 个 方案 的 性 能 。 交 和 符 锁 是 否 
有 更 好 的 性 能 ? 什么 情况 适用 于 交 蔡 锁 ? 什么 情况 不 适用 ? 
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java.utilL.concurrent 包 不 仅 提 供 了 第 二 天 介绍 的 比 内 置 锁 更 好 的 锁 , 还 提供 了 一 些 通用 、 
高 效 、bug 少 的 并 发 数据 结构 和 工具 。 在 实际 应 用 中 ， 较 之 自己 生成 解决 方案 ， 我们 应 更 多 地 使 
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用 这 些 久 经 考验 的 工具 。 


创建 线程 之 终极 版 


第 一 天 我 们 学 习 了 如 何 创 建 线程 , 但 在 实际 应 用 中 很 少 会 下 接 创建 线程 。 举 个 例子 ， 下 面 是 
一 个 非常 简单 的 服务 入 ， 回 显 接收 到 的 数据 ; 


ThreadsLocks/EchoServer/src/main/java/com/paulbutcher/EchoServer.java 
public class EchoServer { 


public static void main(String[] args) throws IOException { 


class ConnectionHandler implements Runnable { 
InputStream in; OutputStream out ; 
ConnectionHandler(Socket socket) throws IOException { 
in = socket.getInputStream(); 
out = socket.getOutputStream(); 
} 


public void run() { 
try 1{ 
int n; 
byte[] buffer = new byte[1024]; 
while((n = in,.read(buffer)) != -1) { 
out .write(buffer, 0, n); 
out.flush(); 
} 
} catch (IOException e) {} 
} 
} 


ServerSocket server = new ServerSocket(4567): 
while (true) { 


> Socket socket = Server.accept() | 
> Thread handler = new Thread(new ConnectionHandler(socket)); 
> handler.start(); 
} 
} 
} 


标记 出 来 的 代码 行 用 于 接受 一 个 连接 请 求 并 创建 一 个 处 理 线程 。 这 样 的 设计 虽然 能 正常 工 
作 , 但 存在 两 个 隐患 : 第 一 ， 创 建 线程 的 代价 虽然 很 低 ， 但 也 没 低 到 能 直接 忽略 的 程度 ， 而 每 个 
连接 都 花费 了 这 个 代价 ; 第 二 ， 如 果 为 每 个 连接 部 创建 一 个 线程 ， 当 请 求 连接 的 速度 高 于 处 理 连 
接 的 速度 时 ,系统 的 线程 效 也 会 随 之 快速 增长 ， 服 务 郁 将 保 止 服务 甚至 朋 溃 。 这 就 给 那些 想 对 服 
务 天 进行 拒绝 服务 攻击 的 人 提供 了 可 乘 之 机 。 


我 们 可 以 用 线程 池 来 避免 这 些 问 题 : 
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ThreadsLocks/EchoServerBetter/src/main/java/com/paulbutcher/EchoServer.java 


int threadPoolSize = Runtime.getRuntime().availableProcessors() * 2; 
ExecutorService executor = Executors.newFixedThreadPool (threadPoolSize); 
while (true) { 

Socket socket = Server.accept() ; 

executor.execute(new ConnectionHandler(socket)); 


} 


这 段 代 码 创建 了 一 个 线程 池 ， 线程 池 的 大 小 设 为 可 用 处 理 占 数 的 2 倍 。 如 果 同 一 时 间 有 超过 
线程 池 大 小 的 execute( ) 请 求 存在 , 超出 的 部 分 将 进行 排队 直到 菏 线 程 被 释放 。 现 在 我 们 不 必 再 
为 每 个 连接 都 消耗 资源 来 创建 线程 ， 而 且 服务 器 在 面临 高 负载 时 也 能 继续 运转 〈 不 能 保证 服务 
售 对 所 有 连接 都 及 时 啊 应 ,但 至 少 可 以 啊 应 其 中 一 部 分 )。 


与 入 时 复制 


第 一 天 我 们 曾 学 习 过 在 并 发 程序 中 如 何 安 全 地 调用 监听 器 ， 当 时 在 updateProgress() 中 创 
建 了 一 个 保护 性 复制 (参见 2.2 节 中 “来 日 外 星 方 法 的 危害 ”部 分 )。、Java 标 准 库 提供 了 更 优雅 的 
现成 方案 一 一 Copy0nWriteArrayList: 


ThreadsLocks/HttpDownloadBetter/src/main/java/com/paulbutcher/Downloader.java 


private CopyOnWriteArrayList<ProgressListener> listeners; 


public void addListener(ProgressListener listener) { 
listeners.add(listener); 

} 

public void removeListener(ProgressListener listener) { 
listeners.removel(listener); 

} 

private void updateProgress(int n) { 
for (ProgressListener listener: listeners) 

listener.onProgress(n); 


} 


顾名思义 ，CopyOnWriteArrayList 使 用 了 保护 性 复制 的 策略 。 它 并 不 是 在 遍历 列表 前 进行 
复制 ， 而 是 在 列表 被 修改 时 进行 , 已 经 投入 使 用 的 选 代 器 会 使 用 当时 的 旧 副 本 。 这 种 方式 对 许多 
用 例 并 不 适用 ， 但 非常 适用 于 我 们 当下 的 场景 。 


首先 ， 使 用 了 Copy0nwriteArrayList 的 代码 会 变 得 非常 简洁 。 事 实 上 除了 定义 Listeners 
的 部 分 稍 有 不 同 , 其 他 代码 与 最 初 的 非 线 程 安 全 的 版 本 没有 什么 区 别 。 其 次 , 代码 将 变 得 更 高 效 ， 
因为 我 们 不 必 在 每 次 调用 updateProgress () 时 都 创建 副本 ， 而 只 在 Listeners 被 更 新 时 创建 即 
可 (更 新 Listeners 的 概率 相对 较 低 )。 


J 新 的 连接 会 复 用 连接 池 中 的 已 有 线程 ， 而 不 必 有 创建 新 线程 。 一 一 译 者 注 
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1 小 乔 爱 问 : 
过 。 线程 池 应 该 有 多 大 ? 


影响 线程 池 最 优 大 小 的 因素 有 很 多 ， 例 如 硬件 的 性 能 、 线 程 任务 是 CPU 密集 型 还 是 IO 
密集 型 、 是 否 有 其 他 任务 在 同时 运行 。 还 有 很 多 其 他 原因 也 会 产生 影响 。 


话 虽 如 此 ， 但 也 存在 经 验 法 则 : 对 于 CPU 密集 型 的 任务 ， 线 程 池 大 小 应 接近 于 可 用 核 
数 ; 对 于 IO 帘 集 型 的 任务 ， 线 程 池 可 以 设置 得 更 大 些 ， 


当然 ， 最 佳 的 方法 是 建立 一 个 真实 环境 下 的 压力 测试 来 衡量 性 能 


[© 


元 整 的 程序 


到 目前 为 止 ,我 们 单独 学 习 了 一 些 工 具 。 剩 下 的 时 间 我 们 将 解决 一 个 实际 的 小 问题 :Wikipedia 
上 出 现 频 座 最 高 的 词 是 什么 ? 


乍 看 上 去 这 应 当 不 难 一 一 只 需要 下 载 XML dump 文 件 "”, 然后 写 一 个 程序 解析 它们 并 计算 词 频 


就 可 以 了 。 但 dump 文 件 差不多 有 40 GiB ， 处 理 起 来 需要 一 些 时 间 ， 我 们 是 否 可 以 借助 并 行 来 加 
速 运行 ? 


先 从 基本 场景 开始 


一 个 简单 的 串 行程 序 统计 前 100 000 页 (page ) 的 词 频 需 要 花费 多 久 ? 


ThreadsLocks/WordCount/src/main/java/com/paulbutcher/WordCount.java 
public class WordCount { 


private static final HashMap<String, Integer> counts = 
new HashMap<String, Integer>(); 


public static void main(String[] args) throws Exception { 
Iterable<Page> pages = new Pages(100000, "enwiki.xml"); 
for(Page page: pages) { 
Iterable<String> words = new Words(page.getText()); 
for (String word: words) 
countWord (word); 
} 
} 
private static void countWord(String word) { 
Integer currentCount = counts.get (word); 


If (currentCount == null) 
counts.put (word, 1); 
else 


(QD http://dumps.wikimedia.org/enwiki/ 
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counts.put(word, currentCount + 1); 
} 
} 


在 我 的 MacBook Pro 上， 这 需要 花费 105 秒 。 


那 应 该 从 何 处 下 手 人 研发 并 行 的 版 本 呢 ?” 主 循环 的 每 一 次 循环 者 完成 了 两 个 任务 一 一 首先 解 
析 XML 并 构造 一 个 Page， 然 后 “消费 ”这 个 page， 对 page 中 的 内 容 统 计 词 频 。 2 


这 类 问题 可 以 归结 为 一 种 经 典 模式 一 一 生产 者 -消费 者 ( producer-consumer ) 模式 。 相 比 只 
用 一 个 线程 自 产 自 销 ， 我 们 可 以 创建 两 个 线程 : 一 个 生产 者 和 一 个 消费 者。 


首先 ， 定 义 一 个 生产 者 Parser: 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/paulbutcher/Parser.java 


class Parser implements Runnable { 
private BlockingQueue<Page> queue.; 


public Parser(BLockingQueue<Page> queue) { 
this.queue = queue.; 


} 


public void run() { 
try { 
Iterable<Page> pages = new Pages(100000, "enwiki.xmtl"); 
for (Page page: pages) 
queue.put (page); 
} catch (Exception e) { e.printStackTrace(); } 
} 
} 


run () 的 方法 体 是 之 前 串 行 版 本 的 外 层 循环 ， 但 对 所 产生 的 page 不 直接 统计 词 频 ， 而 是 将 该 
page 加 入 到 队列 末尾 。 


然后 ， 定 义 一 个 消费 者 : 


VYvyv 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/paulbutcher/Counter.java 


class Counter implements Runnable { 
private BlockingQueue<Page> queue; 
private Map<String, Integer> counts; 
public Counter(BLockingQueue<Page> queue, 
Map<String, Integer> counts) { 
this.queue = queue.; 
this.counts = counts,; 


} 


public void run() { 
try { 
while(true) { 
> Page page = queue.take(); 
if (page.isPoisonPill()) 
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break ; 
> Iterable<String> words = new Words (page.getText()); 
> for (String word: words) 
> countWord (word); 
} 
} catch (Exception e) { e.printStackTrace(); } 


} 
} 


你 可 能 已 经 猪 到 了 ， 方 法 体 是 之 前 串 行 版 本 的 内 层 循 环 ， 从 队列 里 获取 输入 。 
最 后 ,创建 两 个 线程 : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/paulbutcher/WordCount.java 


ArrayBlockingQueue<Page> queue = new ArrayBLockingQueue<Page>(100) ; 
HashMap<String, Integer> counts = new HashMap<String, Integer>(); 


Thread counter = new Thread(new Counter(queue, counts)); 
Thread parser = new Thread(new Parser(queue) ) ; 


counter. start(); 
parser.start(); 
parser.join(); 

queue.put (new PoisonPill()); 
counter. join(); 


java.util.concurrent 包 中 的 ArrayBlockingQueue 是 一 个 并 发 队列 ， 非 常 适合 实 现 生 产 
者 -消费 者 模式 。 其 提供 了 融 效 的 并 发 方法 put () 和 take()， 这 些 方 法 会 在 必要 时 阻 罕 ， 当 对 一 
个 空 队列 调用 take() 时 , 程序 会 阻 罕 下 到 队列 变 为 非 空 ， 当 对 一 个 满 队 列 调用 put() 时 , 程序 会 
阻塞 直到 队列 有 足够 空间 。 


1W 小 乔 爱 问 : 
过 为 什么 用 阻塞 队列 ? 


java,utit,concurrent 包 不 仅 提 供 了 阻塞 队列 , 还 提供 了 一 种 容量 无 限 、 操 作 不 需 等 
待 、 非 阻塞 的 队列 ConcurrentLinkedQueue。 这 些 特 性 听 上 去 非常 族人 ， 那 为 什么 在 这 个 
场景 下 它 不 是 一 个 好 的 解决 方案 呢 ? 


关键 在 于 生产 者 和 消费 者 可 能 不 会 (几乎 肯定 不 会 ) 保持 相同 的 速度 。 比 如 ， 当 生产 者 
的 速度 快 于 消费 者 的 速度 时 ， 队 列 会 越 来 越 大 。Wikipedia 的 dump 差不多 有 40 GiB,， 很 容 
易 就 让 队列 大 小 超过 内 存 容 量 。 


相 比 之 下 , 阻塞 队列 只 允许 生产 者 的 速度 在 一 定 程 度 上 超过 消费 者 的 速度 ,但 不 会 超过 
人 
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为 一 个 有 趣 的 话题 是 消费 者 如 何 知 道 何 时 应 该 退出 : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/paulbutcher/Counter.java 


if (page.isPoisonPill()) 
break ; 


毒 丸 (poison pill ) 是 一 个 特殊 的 对 象 ， 告 诉 消费 者 “数据 已 经 取 完 了 ， 你 可 以 退出 了 ”。 这 
非常 类 似 于 C/C++ 中 用 null 字 符 作 为 字符 串 的 结尾 。 

用 生产 者 -消费 者 模式 进行 优化 后 ， 程 序 运 行 提速 了 一 一 从 105 秒 提升 到 了 95 秒 。 

而 我 们 可 以 做 得 更 好 。 生 产 者 -消费 者 模式 的 优点 不 仅 在 于 可 以 并 行 地 生产 和 消费 ， 还 可 以 
存在 多 个 生产 者 和 /或 多 个 消费 者 。 

那么 我 们 应 该 重点 加 速生 产 者 的 速度 还 是 消费 者 的 速度 ?” 哪 段 代码 占用 了 大 量 的 运行 时 
间 ? 如 果 临 时 改动 一 下 代码 ， 只 运行 生产 者 的 部 分 ， 会 发 现 分 析 前 100 000 页 花费 了 近 10 秒 。 

仔细 想 一 下 就 可 以 解释 这 个 现象 。 最 初 的 串 行 版 本 花费 了 105 秒 , 而 生产 者 -消费 者 版 本 花费 
了 95 秒 。 显 然 解析 文件 花费 了 10 秒 ， 而 统计 词 频 花费 了 95 秒 。 所 以 当 解析 和 统计 并 行 时 ， 整 体 运 
行 时 间 会 减少 到 两 者 中 较 长 的 时 间 一 一 95 秒 。 

要 进一步 优化 ， 就 要 对 统计 过 程 进行 并 行 化 ， 建 立 多 个 消费 者 。 图 2-3 示 意 了 我 们 要 做 的 
事情 。 


计数 结 村 


Aardvark 一 3 
Abacus 一 5 
Acrobat—12 


Advert 一 0 


XML 
Dump 


图 2-3 ”建立 多 个 消费 者 ， 对 统计 过 程 进行 并 行 化 
如 果 多 个 线程 要 同时 统计 词 频 ， 就 需要 一 种 方法 来 同步 对 counts 对 象 的 访问 。 
首先 ,我 们 想到 由 CoLLections 包 的 synchronizedMap() 提 供 的 同步 的 map。 遗 憾 的 是 这 类 


同步 的 集合 并 不 提供 原子 的 读 - 改 - 写 的 方法 ， 所 以 不 能 使 用 它们 。 如 果 使 用 HashMap ， 就 必须 自 
己 实 现 对 访问 的 同步 。 
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下 面 是 修改 后 的 countword ( ) : 


ThreadsLocks/WordCountSynchronizedHashMap/src/main/java/com/paulbutcher/Counter.java 


private void countWord(String word) { 
> lock.tock!(); 


try 1+ 
Integer currentCount = counts.get(word); 
If (currentCount == null) 
counts.put (word, 1); 
else 


counts.put(word, currentCount + 1); 
>  } finally { lock.unlock(); } 
} 


然后 ， 修 改 代码 来 运行 多 个 消费 者 : 


ThreadsLocks/WordCountSynchronizedHashMap/src/main/java/com/paulbutcher/WordCount.java 


ArrayBlockingQueue<Page> queue = new ArrayBLockingQueue<Page>(100) ; 
HashMap<String, Integer> counts = new HashMap<String, Integer>(); 
ExecutorService executor = Executors.newCachedThreadPool (); 
for (int i = 0; i < NUM COUNTERS; ++i) 
executor.execute(new Counter(queue, counts)); 
Thread parser = new Thread(new Parser (queue)); 
parser.start(); 
parser.join(); 
for (int i = 0; i < NUM COUNTERS; ++i) 
queue.put (new PoisonPill()); 
executor.shutdown(); 
executor.awaitTermination(10L, TimeUnit .MINUTES).; 


与 之 前 的 主 代码 相 比 ， 这 有 段 代码 的 变化 是 使 用 了 线程 池 , 方便 管理 多 个 线程 。 我 们 还 必须 使 
适当 数量 的 毒 丸 ， 保 证 消费 者 的 线程 都 可 以 退出 。 
- 切 看 起 来 都 很 完美 , 但 我 们 的 梦想 很 快 就 破灭 了 。 分 别 测量 一 下 使 用 一 个 消费 者 和 两 个 消 
费 者 所 花费 的 时 间 (加 速 比 ?是 相对 于 串 行 版 本 )， 如 表 2-1 所 示 。 


表 2-1 使 用 一 个 消费 者 和 两 个 消费 者 所 花费 时 间 的 比较 


消费 者 时 间 〈 秘 ) 加 速 比 
1 101 1.04 
了 212 0.49 


为 什么 增加 一 个 消费 者 反而 更 慢 ? 而 且慢 了 原来 的 一 半 之 多 ? 


答案 是 因为 过 度 竞争 一 一 过 多 的 线程 尝试 同时 使 用 一 个 共享 资源 。 在 我 们 的 程序 中 ,消费 者 
花费 大 量 时 间 等 待 被 其 他 消费 者 锁 住 的 counts， 它 们 的 等 待 时 间 比 实际 运算 时 间 还 要 长 ， 最 终 


由 加 速 比 是 指 串 行 算法 执行 时 间 和 并 行 算法 执行 时 间 的 比值 。 一 一 译 者 注 
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导致 惨烈 的 性 能 下 降 。 


好 在 我 们 不 会 就 此 退缩 。 java.util.concurrent 包 的 ConcurrentHashMap 正 是 我 们 所 需要 
的 。 它 不 仅 提 供 了 原子 的 读 - 改 - 写 方法 , 还 使 用 了 更 高 级 的 并 发 访问 ( 被 称 为 锁 分 段 (lock striping ) 
技术 ) ”。 


下 面 是 使 用 了 ConcurrentHashMap 的 countwWord () 人 代码。 2 


ThreadsLocks/WordCountConcurrentHashMap/src/main/java/com/paulbutcher/Counter.java 


private void countWord(String word) { 
while (true) { 
Integer currentCount = counts.get (word); 


If (currentCount == null) { 
If (counts.putIfAbsent(word, 1) == null) 
break ; 
} else if (counts.reptLace(word，currentCount ，currentCount + 1)) { 
break ; 
} 


} 
} 


我 们 需要 花 点 时 间 来 理解 这 个 机 制 。 此 处 使 用 了 putIfAbsent() 和 repLace() 来 取代 原来 的 
put () 方 法 。putIfAbsent () 的 相关 文档 如 下 。 


如 果 指 定 键 没有 与 菜 值 关 联 ，, 则 将 指定 键 与 指定 值 进行 关联 。 其 与 以 下 代码 的 区 别 
是 具有 原子 性 : 
If (!map,containsKey(key) ) 
return map.put(key, value); 


else 
return map.get(key); 


replace() 的 相关 文档 如 下 。 
仅 当 指定 键 与 指定 旧 值 关联 时 , 将 指定 键 与 指定 新 值 进行 关联 。 其 与 以 下 代码 的 区 
别 是 具有 原子 性 : 
if (map.containsKey(key) &é& map.get(key).equals(oldValue)) { 
map.put (key, newValue); 


return true; 
} else return false; 


当 使 用 这 些 孙 数 时 ， 知 要 检查 其 返回 值 来 判断 是 否 操 作成 功 。 如 琳 没 有 成 功 ， 则 知 要 
重 试 。 


册 次 测量 运行 时 间 ， 这 次 吏 不 那么 悲剧 了 ， 如 表 2-2 所 未 。 


GD ConcurrentHashMap 内 部 使 用 了 锁 分 段 技 术 ， 可 以 提升 其 并 发 性 能 。 译 者 注 
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表 2-2 ”使 用 Concurrent HashMap 所 花费 时 间 的 比较 


消费 者 时 间 〈 秒 ) 加 速 比 
] 120 0.87 
2 83 1.26 
3 65 1.61 
4 63 1.67 
5 70 1.50 
6 79 1.33 


搞定 ! 这 次 可 以 通过 增加 消费 者 的 数量 来 提升 计算 速度 。 不 过 增加 到 4 个 以 上 的 消费 者 时 ， 
计算 速度 开始 下 降 。 

虽然 63 秒 的 成 绩 比 串 行 版 本 的 105 秒 要 好 得 多 , 但 也 没 能 达到 2 倍 的 提速 。 我 的 MacBook 有 四 
个 核 一 一 理论 上 应 该 有 近 4 倍 的 提速。 

我 们 还 注音 到 消费 者 对 counts 有 一 些 不 必要 的 苋 争 ,与 其 所 有 消费 者 都 共 至 同一 个 counts， 
不 如 每 个 消费 者 各 目 维 护 一 个 计数 map ， 再 对 这 些 计数 map 进 行 合 并 : 


ThreadsLocks/WordCountBatchConcurrentHashMap/src/main/java/com/paulbutcher/Counter.java 


private void mergeCounts() { 
for (Map.Entry<String, Integer> e: LocaLCounts ,entrySet()) { 
String word = e.getKey() ; 
Integer count = e.getValue(); 
while (true) { 
Integer currentCount = counts.get(word); 


If (currentCount == null) { 
If (counts.putIfAbsent (word, count) == null) 
break ; 
} else if (counts, repLace(word，currentCount，currentCount + count)) { 
break ; 
} 


} 
} 
} 


这 次 离 理想 的 4 倍 提 速 又 近 了 一 步 ， 如 表 2-3 所 示 。 


表 2-3 
消费 者 时 间 〈 秒 ) 加 速 比 
1 95 1.10 
2 57 1.83 
3 40 2.62 
4 39 2.69 
5 35 2.96 
6 33 3.14 
7 41 2.55 


2.4 第 三 天 : 站 在 巨人 的 肩膀 上 37 


现在 的 程序 性 能 不 仅 随 着 消费 者 的 增加 而 快速 提升 ,而 且 超 过 4 个 消费 者 后 性 能 仍 会 继续 提升 。 
这 大 概 是 因为 我 的 MacBook 支 持 “ 超 线程 ”一 一 里 然 只 有 4 个 物理 核 ,但 是 availableProcessors() 
会 返回 8。 

图 2-4 展 示 了 三 个 不 同 版 本 程序 的 性 能 。 


多 个 ConcurrentHashMap 


ConcurrentHashMap 


加 速 比 


同步 的 HashMap 


1 2 3 4 5 6 7 


有 二 tp et 


消费 者 数 


bat 


图 2-4 ”消费 者 个 数 对 词 频 统计 程序 性 能 的 影响 
并 行程 序 的 性 能 曲线 大 多 与 此 类 似 。 起 初 性 能 快速 线性 增长 ,之 后 增长 趋势 放 绥 ,最终 性 能 
达到 极 值 ， 线 程 数 再 增加 性 能 则 会 下 降 。 
现在 回顾 一 下 我 们 已 经 完成 了 什么 : 建立 了 一 个 相对 复杂 的 生产 者 -消费 者 程序 ， 多 个 消费 
者 通过 一 个 并 发 队列 和 一 个 并 发 map 进 行 协作 ， 程 序 中 没有 显 式 地 使 用 锁 ， 而 是 使 用 了 标准 库 提 
供 的 并 发 工具 。 


第 三 天 总 结 
我 们 已 经 完成 了 线程 与 锁 模 型 最 后 一 天 的 学 习 。 
第 三 天 我 们 学 到 了 什么 
java.util.concurrent 包 提供 的 工具 不 仪 让 并 发 编程 更 容易 ， 而 且 在 以 下 方面 让 程序 更 安 
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全 高 效 : 

口 使 用 线程 池 ， 而 不 直接 创建 线程 ; 

口 使 用 Copy0nWriteArrayList 让 监听 需 相 关 的 代码 更 简单 高 效 ; 

口 使 用 ArrayBLockingQueue 让 生产 者 和 消费 者 之 间 高 效 协作 ; 

口 ConcurrentHashMap 提 供 了 更 好 的 并 发 访问 。 

第 三 天 自习 

查找 

口 阅读 ForkJjoinPoo1l 的 文档 
场景 ? 

口 什么 是 work-stealing? 它 适用 于 什么 场景 ? 如何 用 java.util.concurrent 包 提供 的 工具 
实现 work-stealing? 

口 CountDownLatch 和 CyclicBarrier 有 什么 区 别 ? 分 别 适用 于 什么 场景 ? 

口 什么 是 阿 姆 达尔 定律 ( Amdahl’s law ) ? 如 何 计算 出 词 频 统计 程序 的 最 大 理论 加 速 比 ? 

实践 

口 修改 生产 者 -消费 者 版 本 的 代码 ， 用 “数据 结束 ”标识 取代 毒 丸 ， 在 生产 者 与 消费 者 有 速 
度 差异 时 要 确保 程序 运行 正常 。 队 列 被 置 “ 数 据 结 束 ” 标 识 时 ， 如 果 消 费 者 尝试 从 队列 
中 移 除 元 素 会 发 生 什 么 ? 为 什么 毒 丸 方法 会 被 广泛 采用 ? 

口 在 不 同 的 电脑 上 运行 不 同 版 本 的 词 频 统计 程序 。 不 同 电脑 上 的 性 能 曲线 有 什么 区 别 ? 如 
条 在 一 合 32 核 电脑 上 运行 ， 是 否 会 得 到 近 32 倍 的 提速 ? 


fork/join 框 架 与 线程 池 有 什么 区 别 ? 分 别 适 用 于 什么 


2.5 复习 


线程 与 锁 模 型 可 能 是 这 本 书 介 绍 的 最 具有 争议 的 模型 ,很 多 程序 员 和 觉得 它 难以 获 驭 而 感到 悍 
怕 , 不 顾 一 切 地 避免 多 线程 编程 。 而 力 一 些 程序 员 却 不 以 为 然 ， 他 们 觉得 只 要 间 守 一 些 规则 , 线 
程 与 锁 模型 其 实 别 无 他 样 。 


让 我 们 来 看 一 下 这 个 模型 的 优点 和 缺 点 。 


优点 

线程 与 锁 模 型 的 最 大 优点 是 其 适用 面 很 广 。 它 是 本 书 介 绍 的 其 他 许多 技术 的 基础 ， 适 用 于 
解决 很 多 类 型 的 问题 。 同 时 ， 线 程 与 锁 模型 更 接近 于 “本 质 ” 近似 于 对 便 件 工作 方式 的 形 
陈 化 一 一 正确 使 用 时 ， 其 效率 很 高 。 这 也 意味 春 它 能 够 解决 从 小 到 大 不 同 粒度 的 问题 。 

为 外 ,这 个 模型 可 以 被 轻松 地 集成 到 大 多 数 编 程 语 言 中 。 语言 设计 者 们 可 以 轻易 让 一 门 指令 
式 培 言 或 面 问 对 象 语言 文 持 线 程 与 锁 模 型 。 


缺点 


线程 与 锁 模 型 没有 为 并 行 提供 直接 的 支持 (之 前 我 们 提 到 过 并 发 与 并 行 的 区 别 和 联系 , 参见 
1.1 方 )。 在 之 前 词 频 统 计 的 例子 中 ， 我 们 确实 用 这 个 模型 将 一 个 串 行 算法 并 行 地 运行 ， 但 前 提 是 
该 程序 被 改造 成 了 并 发 形式 ， 同 时 引入 了 不 确定 性 的 隐患 。 

除了 一 些 特 例 ， 比 如 实验 性 的 研究 分 布 式 共享 内 存 的 系统 , 线程 与 锁 模 型 仅 文 持 共 圣 内 存 柑 
型 。 如 采 要 文 持 分 布 式 内 存 模型 (无 论 是 地 理 分 布 型 或 者 容错 型 )， 就 需要 寻求 其 他 技术 的 带 助 。 
这 也 意味 肴 线程 与 锁 模 型 不 适用 于 单个 系统 无 力 解决 的 问题 。 

使 用 这 个 模型 最 大 的 缺点 在 于 无 助 。 语 言 设 计 者 很 容易 将 其 集成 到 有 菏 一 门户 言 中 , 但 对 于 我 
们 这 些 可 怜 的 程序 员 ， 编 程 语 言 层面 并 没有 提供 足够 的 帮助 。 


不 易 冢 觉 的 错误 

我 认为 应 用 多 线程 的 难点 不 在 于 难以 编程 ， 而 在 于 难以 测试 。 在 多 线程 编程 中 ， 从 坑 里 把 出 
来 并 不 难 ， 难 的 是 我 们 不 知道 自己 是 不 是 已 在 坑 里 。 

以 内 存 模 型 为 例 。 如 2.2 节 的 “内 存 可 见 性 ”部 分 所 述 ， 两 个 线程 在 没有 同步 的 情况 下 访问 
同一 片 内 存 , 奇怪 的 事情 就 会 接 中 而 至 。 但 我 们 怎么 知道 自己 的 程序 是 不 是 正确 的 ?是否 能 写 一 
个 测试 来 证 明 访 问 内 存 时 相应 的 代码 都 有 同步 保护 ? 


可 惜 我 们 做 不 到 。 确实 可 以 号 一 段 代码 来 进行 压力 测试 , 但 这 些 测试 成 功 并 不 意味 看 被 测 代 
码 是 正确 的 。 例 如， 在 解决 斩 竺 家 进 抱 问题 时 ,我 们 曾 讨 论 过 产生 死 锁 的 代码 ， 而 这 段 代 人 码 曾 经 
正解 运行 了 一 周 多 后 才 出 现 死 锁 。 

测试 中 的 一 个 大 问题 是 多 线程 的 bug 很 难 重 现 一 一 我 不 止 一 次 在 姿 晨 被 叫 醒 ， 因 为 服务 天 在 
正常 运行 几 个 月 后 突然 出 了 问题 。 如 玉 一 个 问题 每 十 分 钟 就 会 发 生 一 次 , 我 们 很 快 就 能 定位 该 问 
题 ， 但 如 条 要 正和 并 运行 几 个 月 才能 重 现 问题 ， 这 如 很 难 进行 调试 。 

更 糖 薰 的 是 ， 我 们 很 有 可 能 写 出 一 个 包含 多 线程 bug 的 程序 ， 但 无 论 怎样 彻 克 地 长 期 地 进行 
测试 ， 该 程序 从 不 会 被 测 出 错误 来 。 假 如 用 一 种 可 能 被 乱 序 执行 的 方式 访问 内 存 ， 并 不 意味 着 乱 
序 执行 真 的 会 发 生 。 这 样 , 我 们 就 完全 不 知道 程序 有 bug， 下 到 升级 JVM 或 者 使 用 不 同 的 便 件 时 ， 
才 会 发 生 一 些 诡 寞 的 事情 。 

可 维护 性 

上 述 问题 在 编写 代码 时 已 经 让 人 很 头疼 了 ， 更 过 分 的 是 代码 不 可 能 不 变更 。 我 们 要 全 程 你 
证 所 有 对 象 的 同步 都 是 正确 的 、 必 须 按 照 顺 序 来 获取 多 把 锁 、 持 有 锁 时 不 调用 外 星 方 法 。 还 要 
保证 12 个 月 之 后 换 了 为 外 10 个 程序 员 仍 然 按 照 这 个 规则 维护 代码 。 过 去 十 几 年 ， 目 动 测 试 让 我 
们 信心 十 是 地 进行 重 构 ， 但 如 果 不 能 对 多 线程 问题 进行 可 徘 的 测试 ， 就 无 法 对 多 线程 代码 进行 
可 徘 的 重 构 。 
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最 终 我 们 仅 有 的 方法 是 刘 慎 地 思考 多 线程 代码 。 除 了 谨慎 地 思考 , 就 是 更 译 层 地 思考 。 当然， 
这 种 方法 并 不 容易 ， 而 且 无 法 量化 。 


收拾 残局 


我 认为 诊断 多 线程 问题 的 感觉 ,非常 类 似 于 一 级 方程 式 赛车 的 工程 师 诊断 引擎 故障 : 引 
掌 在 正常 运行 几 个 小 时 后 , 突然 在 没有 任何 征兆 的 情况 下 发 生 严重 故障 , 机油 和 零件 散落 一 
地 ， 狠 狐 不 堪 。 


当 赛 车 被 拖 回 维修 厂 后 ,可怜 的 工程 师 要 面 对 一 堆 残 骸 找 出 故 阶 的 原因 。 故 阶 原 因 可 能 
是 很 小 的 一 一 一 个 坏 的 油泵 轴承 或 者 阀门 ， 但 应 该 如 何 从 一 片 混乱 中 找 出 原因 呢 ? 


经 常 使 用 的 方法 是 尽 可 能 地 完善 对 引擎 数据 的 记录 ,并 让 赛车 手 使 用 新 的 引擎 。 希望 下 
次 发 生 故 障 时 数据 能 提供 一 些 有 用 的 信息 。 


其 他 语言 


如 果 你 想 深 入 人 研究 JVM 的 线程 与 锁 模 型 ， 由 java.util.concurrent 包 的 作者 撰写 的 Java 
Concurrency in Practice [Goe06] 是 个 不 错 的 起 点 。 不 同 语言 之 间 ， 多 线程 编程 的 细节 可 能 有 所 不 
同 ,， 但 本 章 我 们 介绍 的 原理 普遍 适用 , 包括 下 面 这 些 规则 : 访问 共 胖 变量 时 需要 同步 、 按 照 全 局 
的 固定 的 顺序 来 获得 多 把 锁 、 持 有 锁 时 避免 调用 外 星 方 法 。 


值得 一 提 的 是 ， 虽 然 我 们 仅 讨 论 了 Java 的 内 存 模型 ， 但 是 会 对 内 存 访问 进行 乱 序 执行 的 却 不 
止 Java。 大 多 数 语 言 没 有 对 内 存 模 型 做 出 完善 的 定义 ,没有 明确 地 说 明 乱 序 执行 何 时 发 生 以 及 如 
何 发 生 。 在 这 方面 Java 是 先驱 者 ， 是 第 一 个 完整 定义 内 存 模型 的 主流 语言 。C 和 C++ 是 在 C 11 和 
C++ 11 的 标准 中 才 补 充 了 内 存 模 型 。 


士 、 
结语 


伴随 春 种 种 挑 成 , 在 可 预 抑 的 将 来 多 线程 编程 将 一 直 伴 随 春 我 们 。 我 们 也 会 在 之 后 的 章节 中 
介绍 其 他 一 些 有 用 的 相关 知识 。 

下 一 革 我 们 将 学 习 函 数 式 编程 ， 它 不 使 用 可 变 状 态 ， 从 而 避免 了 线程 与 锁 模 型 的 很 多 缺陷 。 
即使 你 不 打算 写 函 数 式 的 代码 , 理解 函数 式 编 程 背后 的 原理 也 很 有 价值 一 一 我 们 以 后 学 习 的 很 多 
并 发 模型 也 应 用 了 这 些 原理 。 


疯 数 式 编程 


咀 数 式 编 程 (Functional Programming ) 就 像 一 辆 高 端 、 新 测 的 氢 炊 料 汽 车 ， 虽 然 还 未 被 广泛 BB 
使 用 ,但 二 十 年 后 我 们 的 生活 将 与 它 密 不 可 分 。 


函数 式 编 程 与 命令 式 编程 ( Imperative Programming ) 不 同 。 命令 式 编程 的 代码 由 一 系列 改变 
全 局 状态 的 语句 构成 , 而 台数 式 编 程 则 是 将 计算 过 程 抽象 成 表达 式 求 值 。 这 些 表达 式 由 纯 数 学 也 
数 构成 ， 而 这 些 数学 函数 是 第 一 类 对 和 象 (我 们 可 以 像 操 作 数 值 一 样 操 作 第 一 类 对 和 象 ) 并 且 没 有 副 
作用 。 由 于 没有 副作用 ， 也 数 式 编程 可 以 更 容易 做 到 线程 安全 ， 因 此 特别 适合 于 并 发 编程 。 这 也 
是 我 们 学 习 的 第 一 个 可 以 直接 支持 并 行 的 模型 。 


3.1 藻 不 更 ， 惑 另 胖 蹊 径 


第 2 革 提 到 的 有 关 锁 的 一 些 规则 ， 都 是 和 针对 于 线程 之 间 共 享 的 可 变 的 数据 一 一 换个 说 法 就 是 
共享 可 变 状 态 。 而 对 于 不 变 的 数据 ， 多 线程 不 使 用 锁 就 可 以 安全 地 进行 访问 。 

这 就 是 为 什么 在 解决 并 发 和 并 行 问题 时 也 数 式 编 程 会 如 此 引 人 注 日 一 一 它 没 有 可 变 状 态 , 所 
以 不 会 遇 到 由 共享 可 变 状态 带 来 的 种 种 问题 。 

本 章 中 我 们 将 用 Clojure 语 言 " 来 介绍 函数 式 编程 , 这 是 一 门 运行 在 JVM 上 的 Lisp 方 言 。 Clojure 
是 动态 类 型 语言 ， 如 果 你 是 Ruby 或 Python 程序 员 ， 肯 年 不 会 对 此 感到 阳 生 。 虽 然 Clojure 不 是 一 门 
纯粹 的 因数 式 语 言 ， 但 本 章 只 会 讨论 其 图 数 式 的 特征 。 本 书 只 能 按 需 介绍 Clojure， 如 果 你 还 想 深 
和 人 学习， 推荐 阅读 Stuart Halloway 和 Aaron Bedra 编 写 的 《Clojure 程 序 设计 》”。 

第 一 天 ， 我 们 将 学 习 困 数 式 编程 的 基础 ， 并 了 解 如 何 并 行 化 一 个 因数 式 算 法 。 第 二 天 ,深入 
学 习 Clojure 的 reducer 框 架 ， 以 及 在 该 框架 下 是 如 何 进行 并 行 化 的 。 第 三 天 , 将 注意 力 从 并 行 转 问 
并 发 ， 利 用 future 模 型 和 promise 模 型 创建 一 个 并 发 的 函数 式 Web 服 务 。 


GD http://clojure.org 
Q 该 书 中 文 版 已 由 人 民 邮 电 出 版 社 出 版 。 一 一 编者 注 
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3.2 ”第 一 天 : 抛弃 可 变 状态 


当 程 序 员 初次 学 习 函 数 式 编 程 时 ， 第 一 反应 通常 是 怀疑 一 一 正常 程序 怎么 可 能 不 更 新 变量 。 
经 过 后 面 的 学 习 你 会 发 现 ， 这 不 仅 是 可 能 的 ， 而 且 要 比 写 命令 式 的 代码 更 简单 。 


变 状 态 的 风险 


今天 将 重点 讨论 并 行 。 我 们 将 创建 一 个 简单 的 函数 式 程序 ， 并 演示 如 何 轻松 地 将 其 并 行 化 。 
不 过 要 先 来 学 习 几 个 Java 的 例子 ， 看 看 为 什么 要 避免 使 用 可 变 状态 。 


口 


下 面 这 个 类 没有 使 用 可 变 状 态 ， 看 上 去 肯定 是 线程 安全 的 : 


FunctionalProgramming/DateFormatBug/src/main/java/com/paulbutcher/DateParser.java 


class DateParser { 
private final DateFormat format = new SimpleDateFormat ("yyyy-MM-qdd"); 


public Date parse(String s) throws ParseException { 
return format.parse(s); 
} 
} 


但 当 多 个 线程 使 用 这 个 类 的 同一 对 象 时 ( 源码 可 以 在 本 书 配套 代码 中 找到 )， 首 次 运行 可 能 
会 得 到 如 下 错误 


Caught: java.lang.NumberFormatException: For input string: ".12012E4.12012E4" 
Expected: Sun Jan 01 00:00:00 GMT 2012, got: Wed Apr 15 00:00:00 BST 2015 


再 次 运行 ， 可 能 又 会 得 到 如 下 错误 


Caught: java.lang.ArrayIndexOut0fBoundsException: -1 


第 三 次 运行 ， 可 能 还 会 得 到 为 一 个 错误 


Caught: java.lang.NumberFormatException: multiple points 
Caught: java.lang.NumberFormatException: multiple points 


虽然 这 段 代码 只 有 一 个 成 员 变 量 ， 而 且 被 标记 成 不 可 变 ( 即 final ), 但 显然 这 段 代 人 码 根本 
达 不 到 线程 安全 ， 为 什么 呢 ? 


造成 问题 的 原因 是 SimpLeDateFormat 内 部 有 隐藏 的 可 变 状 态 。 你 可 能 会 认为 这 应 该 是 个 
bug ， 但 对 我 们 来 说 是 不 是 bug 并 个 重要 。Java 这 文 类 语言 为 了 让 代码 写 起 来 简单 ， 在 此 隐藏 了 可 
变 状 态 ， 这 也 使 我 们 无 法 判断 何 时 会 发 生 问 题 一 一 从 API 无 法 判断 SimpLeDateFormat 是 否 是 线 
程 安全 的 。 


GD http://bugs.sun.com/bugdatabase/view bug.do?bug id=4228335 
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隐藏 的 可 杰 状 态 还 不 是 唯一 需要 留意 的 问题 ， 我 们 再 来 看 一 个 。 
逃逸 的 可 变 状 态 


假设 我 们 要 创建 一 个 管理 比赛 的 web 服务。 需求 是 能 管理 一 个 运动 员 列 表 ， 我 们 会 习惯 地 写 
出 如 下 代码 : 


public class Tournament { 
private List<Player> players = new LinkedList<Player>(); 


public synchronized void addPlayer(Player p) { 
players.add(p); 
} 


public synchronized Iterator<Player> getPLayerIterator() { 
return players.iterator(); 
} 
} 


乍 一 看 上 去 这 段 代 码 是 线程 安全 的 一 一 pLayers 是 私有 变量 ， 仅 被 addPLayer() 和 
getPLayerIterator() 使 用 ， 且 两 个 方法 都 标记 了 synchronized。 然 而 它 并 不 是 线程 安全 的 ， 
因为 getPLayerIterator() 返 回 的 欠 代 融 仍 引用 了 ptLayers 内 部 的 可 变 状态 一 一 如 条 在 迭代 需 
被 使 用 时 ， 另 一 个 线程 调用 了 addPLayer() 方 法 , 那么 程序 就 会 抛 出 ConcurrentModification 
Exception 或 者 变 得 更 糟 。 也 就 是 说 可 变 状 态 从 Tournament 的 重重 防护 下 逃逸 了 。 


在 并 发 编程 中 , 陆 藏 和 逃逸 仅仅 是 两 种 可 变 状态 市 来 的 风险 一 一 还 有 很 多 其 他 风 辽 。 如 采 能 
找到 一 种 不 使 用 可 变 状 态 的 方法 ， 就 可 以 避 开 这 些 风 险 ， 这 正 是 函数 式 编程 为 我 们 囊 来 的 电光。 


Clojure 旋 风 之 旅 

了 解 Clojure 的 Lisp 语 法 只 需要 几 分 钟 。 

体验 Clojure 最 简单 的 方法 是 使 用 它 的 REPL ( Read-Evaluate-Print Loop ), 可 以 通过 lein repl 
来 启动 REPL ( Lein 是 Clojure 的 构建 工具 )。 在 REPL 中 输入 代码 ， 代 码 将 被 立刻 执行 ， 既 不 需要 
创建 源 文件 ， 也 不 需要 编译 ， 这 在 进行 代码 试验 时 会 出 人 意料 地 方便 。REPL 启 动 后 ， 会 看 到 如 
下 提示 符 : 

USer=> 

在 提示 符 后 输入 的 Clojure 代 码 将 立刻 被 执行 。 

Clojure 代 人 码 由 s- 表 达 式 构成 ， 可 以 将 s- 表 达 式 视 为 市 括号 的 列表 。 主 流 语言 中 的 max(3，5) 
在 Clojure 中 写成 : 


USer=> (max 3 5) 
5 


数学 运算 符 也 是 同样 的 表示 方式 。 比 如 1 + 2 * 3， 写 成 : 
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USer=> (+ 1 (* 2 3)) 
7 


使 用 def 可 以 定义 常量 : 


user=> (def meaning-of-life 42) 
#'UusSer/meaning-of-life 

user=> meaning-of-life 

42 


控制 结构 也 可 以 写成 s- 表 达 式 : 


user=> (if (< meaning-of-life 0) "negative" "non-negative") 
"non-negative" 


Clojure 的 大 多 数 语句 都 是 一 个 s- 表 达 式 ， 然 而 也 有 个 别 例外 。 和 天 量 〈 数 组 ) 字面 量 是 用 方 括 
写 表 不 的 : 


user=> (def droids ["Huey"”" "Dewey"”" "Louie"]) 
#'USer/droids 

user=> (count droids) 

3 

user=> (droids 0) 

"Huey”" 

user=> (droids 2) 

"Louie" 


map 字 面 量 是 用 兹 括号 表示 的 : 

user=> (def me {:name "Paul" :age 45 :sex :male}) 

#'USer/me 

user=> (:age me) 

45 

map 的 键 通常 是 关键 字 ( keyword ) ”, 关键 字 以 冒号 开头 ,非常 类 似 于 Ruby 中 的 符号 ( symbol ) 
或 Java 中 的 保留 字符 串 〈interned string )。 

使 用 defn 可 以 定义 函数 ， 国 数 参 数 是 矢量 形式 的 : 

user=> (defn percentage [x pl] (*+ x (/ p 100.0))) 

#'UsSer/percentage 

user=> (percentage 200 10) 


20.0 


Clojure 旋 风 之 旅 就 此 结束 。 以 后 我 们 还 会 介绍 Clojure 的 其 他 特性 。 
第 一 个 函数 式 程 序 


我 们 一 下 说 函数 式 编 程 最 有 趣 的 地 方 是 不 使 用 可 变 状 态 , 但 一 二 没有 举例 说 明 。 现 在 就 来 补 
T= 


J 此 处 关键 字 是 指 Clojure 中 的 数据 类 型 ， 而 并 非 编程 语言 中 的 for、white 这 一 类 关键 字 。 一 一 译 者 注 


对 一 个 数列 求 和 ， 如 果 使 用 Java 这 种 命令 式 语言 ， 会 写成 下 面 这 样 : 


public int sum(int[] numbers) { 
int accumulator = 0; 
for (int n: numbers) 
accumulator += nN; 
return accumulator; 


} 


这 上 段 代码 中 accumulator 是 可 变 的 : 在 for 循 环 中 每 次 都 会 更 新 值 ， 因 此 这 上 段 代码 不 是 函数 
式 的 。 相 比 之 下 ， 使 用 Clojure 的 方案 可 以 不 使 用 可 变 状 态 : 


FunctionalProgramming/Sum/src/sum/core.clj 
(defn recursive-sum [numbers] 
(if (empty? numbers) 
0 
(+ (first numbers) (recursive-sum (rest numbers))))) 
这 是 一 个 递归 的 的 方案 一 一 recursive-sum 递 归 地 调用 自己 。 如 果 numbers 为 空 ， 则 返回 0 
否则 ， 将 numbers 的 第 一 个 元 素 ( first ) 与 其 他 元 素 ( rest ) 的 和 相 加 ， 并 返回 结果 。 


这 个 方案 是 可 行 的 ， 但 还 能 做 得 更 好 。 下 面 这 种 方案 更 催 单 高 效 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn reduce-sum [numbers] 
(reduce (fn [acc x] (+ acc x)) 0 numbers)) 


这 段 代码 使 用 了 Clojure 的 reduce 也 数 ， 其 有 3 个 参数 一 一 一 个 化 简 函 数 、 一 个 初始 值 和 一 个 
全 
代码 中 用 fn 定义 了 一 个 匿名 化 简 函 数 ， 0 这 个 匿名 化 简陋 数 
被 传 给 reduce，reduce 为 集合 中 的 每 一 个 元 系 都 调用 一 次 化 简 函 数 一 一 第 一 次 ， 初 始 值 ( 本 例 
中 是 0 ) 和 集合 中 的 第 一 个 元 到 被 传 给 化 人 徇 函数 ;第 二 次 ， 将 第 一 次 调用 Ce 吉 果 和 集合 中 的 第 二 
个 元 素 传 给 化 简 子 数 ; 以 此 类 推 。 


先 别 误 向 ， 我 们 还 可 以 继续 改进 
接 用 + 来 蔡 换 匿名 化 简 函 数 ; 


是 个 现成 的 函数 ， 接 受 两 个 参数 并 返回 参数 的 和 。 下 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn sum [numbers] 
(reduce + numbers)) 


现在 可 以 救 党 了 。 我 们 得 到 了 一 个 比 命令 式 编程 更 简单 明了 的 方案 , 这 种 体验 可 以 说 是 将 命 
令 式 方案 转换 成 函数 式 方案 时 的 普遍 感 受 


1// 小 乔 爱 问 : 
站。 如果 将 空 集合 传 给 reduce 会 发 生 什么 ? 


sum 肠 数 的 最 终 版 中 我 们 没有 向 reduce 传 初 始 值 : 


(reduce + numbers ) 


这 可 能 会 引发 你 的 思考 ， 如 果 向 reduce 传 入 一 个 空 集合 会 发 生 什 么 ? 答案 是 一 切 运行 
正常 ， 并 且 reduce 会 返回 0: 


sum.core=> (sum []) 
0 


那么 ，reduce 如 何 知道 应 该 返回 0 (而 不 是 其 他 值 ， 比 如 1 或 nil) ? 这 涉及 Clojure 
中 很 多 操作 符 部 具有 的 一 个 特性 一 一 操作 符 知 道 自 己 的 特征 值 (identity value) 是 什么 。 以 + 
函数 为 例 ， 其 可 以 接受 任意 数目 的 参数 ， 包 括 0 个 参数 : 


user=> (+ 1 2) 

3 

user=> (+ 1 2 3 4) 
10 

user=> (+ 42) 

42 

user=> (+) 

0 


当 用 0 个 参数 调用 也 数 时 ， 了 有 函数 会 返回 加 法 的 特征 值 ， 即 0。 
类 似 地 ，* 返 回 乘 法 的 特征 值 ， 即 1。 


user=> (*) 
1 


如 采 不 向 reduce 传 初始 值 , 那 reduce 将 使 用 0 个 参数 来 调用 函数 ,并 用 其 作为 初始 值 。 
顺便 一 提 , 由 于 + 可 以 接受 若干 个 参数 ,因此 我 们 也 可 以 用 appty 来 实现 sum 函数 .apptLy 
可 以 接受 一 个 函数 和 一 个 矢量 ， 调 用 函数 时 将 这 个 矢量 展开 作为 也 数 的 参数 : 


FunctionalProgramming/Sumy/src/sumy/core.clj 


(defn appLy-sum [numbers] 
(appLy + numbers ) ) 


但 是 ， 与 使 用 reduce 不 同 ， 使 用 apply 的 代码 不 能 轻易 地 并 行 化 。 


轻松 并 行 


我 们 已 经 有 了 一些 函数 式 的 代码 ， 那 怎么 让 它 并 行 呢 ? 需要 如 何 修改 sum 函 数 呢 ”其 实 只 需 
要 做 非常 小 的 改动 


FunctionalProgramming/Sumy/src/sumy/core.clj 


(ns Sum. core 
(:require [clojure.core.reducers :as r])) 


(defn parallel-sum [numbers] 
(r/fold + numbers)) 


唯一 的 修改 是 这 段 代 码 用 clojure.core.reducers 包 (代码 中 使 用 其 缩写 r ) 提供 的 fold 
汕 数 替换 了 reduce。 


下 面 是 REPL 的 一 组 运行 结果 ， 展 示 了 性 能 的 提升 : 


su1, core=> (def numbers (into [] (range 0 10000000))) 
#' sum.core/numbers 

su1, core=> (time (sum numbers)) 

"Elapsed time: 1099.154 msecs" 
49999995000000 

sum.core=> (time (sum numbers)) 

"Elapsed time: 125.349 msecs" 
49999995000000 

sum.core=> (time (parallel-sum numbers)) 
"Elapsed time: 236.609 msecs" 
49999995000000 

sum.core=> (time (parallel-sum numbers)) 
"Elapsed time: 49.835 msecs" 
49999995000000 


这 段 代 码 先 用 into 困 数 将 0 到 10 000 000 之 间 的 数字 添加 到 一 个 空 矢 量 中 , 以 此 构造 一 个 初始 
矢量 。 接着 使 用 time 来 打印 某 段 代码 的 运行 时 间 。 由 于 代码 是 运行 在 JVM 中 ， 就 需要 多 次 运行 代 
人 码 ， 以 便 预 热 JIT 编 译 希 ， 这 样 才 能 得 到 比较 客观 的 运行 时 间 。 

在 我 的 四 核 的 Mac 上 ,使 用 fold 让 代码 的 运行 时 间 从 125 ms 降 到 了 50 ms， 加 速 比 为 2.5。 第 
二 天 中 我 们 将 展开 学 习 fotd 的 实现 细 市 ， 现 在 先 来 看 看 之 前 Wikipedia 词 频 统计 的 例子 ， 实 现 其 
中 数 式 版 本 。 


Wikipedia 词 频 统计 的 了 水 数 式 版 本 
我 们 先 来 写 一 个 Wikipedia 词 频 统计 的 串 行 执行 版 本 一 一 明天 再 来 对 它 进 行 并 行 化 。 程 序 需要 
以 下 三 个 函数 。 


口 函数 1， 接 受 Wikipedia XML dump， 返 回 dump 中 的 页 面 序列 。 
口 师 数 2， 接 受 一 个 页 面 ， 返 回 页 面 上 的 词 序 列 。 
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口 函数 3 ， 接 受 一 个 词 序 列 ， 返 回 含 有 词 频 的 map。 

我 们 不 会 详细 介绍 前 两 个 郴 数 一 一 毕竟 本 书 的 主题 是 并 发 , 而 不 是 XML 或 字符 串 处 理 ( 相关 
细节 请 参见 本 书 的 配套 代码 ) 在 此 春 重 讨论 如 何 统计 词 频 ， 因 为 之 后 我 们 还 将 对 这 部 分 进行 j 
行 化 处 理 。 


珊 数 却 map 
要 得 到 一 个 包含 词 频 的 map， 就 需要 理解 Clojure 的 两 个 map 人 处 理 了 负数 


user=> (def counts {"apple" 2 "orange" 1}) 
#'USer/counts 

user=> (get counts "apple" 0) 

2 

user=> (get counts "banana'" 0) 

0 

user=> (assoc counts "banana" 1) 

{"banana" 1, "orange" 1, "apple" 2} 
user=> (assoc counts "apple" 3) 

{"orange" 1, "apple" 3} 


get 从 map 中 查找 键 ， 如 有 条 找到 则 返回 对 应 值 ， 否 则 返回 默认 值 。assoc 接 受 一 个 map 和 一 个 
键 值 对 ， 在 原 有 map 的 基础 上 返回 一 个 包含 指定 键 值 对 的 新 map。 


词 频 统计 函数 


我 们 已 经 准备 好 实现 词 频 统 计 困 数 了 , 这 个 函数 接受 一 个 词 序 列 , 并 返回 一 个 map, 这 个 map 
的 键 是 词 ， 值 是 该 词 出 现 的 次 数 : 


get 和 assoc: 


FunctionalProgramming/WordCount/src/wordcount/word frequencies.cjj 


(defn word-frequencies [words] 
(reduce 
(fn [counts word] (assoc counts word (inc (get counts word 0)))) 
{} words)) 


这 上 段 代码 将 一 个 空 的 map{} 作 为 初始 值 传 给 reduce。 再 对 words 中 的 每 个 元 素 , 将 其 现 有 次 
数 加 1。 试 用 一 下 : 


user=> (word-frequencies [ "one" "potato" "two" "potato" "three" "potato"”" "four"]) 
{"four" 1, "three" 1, "two" 1, "potato" 3, "one" 1} 


Clojure 标 准 库 已 经 走 在 了 我 们 前 面 一 一 提供 了 frequencies 消 数 ， 该 孔 数 能 针对 任何 集合 ， 
输出 集合 中 每 个 元 系 的 出 现 次 数 : 


user=> (frequencies [ "one" "potato" "two" "potato" "three" "potato" "four"]) 
{"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 


我 们 已 经 学 会 了 如 何 统计 装 频 ， 剩 下 的 台 是 将 其 与 XML 处 理 结合 起 来 。 


插播 一 些 与 序列 相关 的 函数 
为 了 理解 今后 的 代码 ， 得 插播 一 些 与 序列 相关 的 机 制 。 首 和 完 ， 介 绍 映射 函数 map: 


user=> (map inc [0 1 23 4 5]) 

(12345 6) 

user=> (map (fn [x] (* 2 x)) [0 1234 5]) 

(0246 8 10) 

map 函 数 接受 一 个 函数 f 和 一 个 序列 ， 并 返回 一 个 新 序列 ， 对 于 输入 序列 中 的 每 个 元 素 都 会 调 
用 一 次 国 数 f， 并 以 元 素 的 值 作为 f 的 参数 ，f 的 返回 值 则 成 为 新 序列 的 对 应 元 系 。 


然后 ， 介 绍 partiaL 困 数 ， 利 用 partiatL 男 数 可 以 将 上 面 代码 的 第 二 个 调用 简化 一 下 。 
partiatl 接 受 一 个 函数 和 奉 干 参数 ， 返 回 一 个 被 局 部 代入 的 纯 数 ”: 

user=> (def multiply-by-2 (partial * 2)) 

#'UuSer/multiply-by-2 

user=> (multiply-by-2 3) 

6 


user=> (map (partial * 2) [0 1234 5]) 
(0 246 8 10) 


最 后 ， 假 设 有 一 个 函数 会 返回 一 个 序列 ， 比 如 用 正则 表达 式 将 字符 串 切 割 成 词 的 序列 : 


user=> (defn get-words [text] (re-seq #"\w+" text)) 
#'USer/get-words 

user=> (get-words "one two three four") 

("one" "two" "three" "four") 


显然 ， 对 一 个 字符 串 序列 用 get -wo rds 进 行 映 射 ， 会 得 到 一 个 二 维 序列 : 


user=> (map get-words ["one two three" "four five six" "seven eight nine"]) 
(("one" "two" "three") ("four" "five" "six") ("seven" "eight" "nine")) 


如 果 需 要 包含 所 有 输出 的 一 维 序列 ， 则 可 以 使 用 mapcat: 


user=> (mapcat get-words ["one two three" "four five six" "seven eight nine"]) 
("one" "two" "three" "four”" "five" "oi1x" "oseven" "eight" "nine") 


一 切 准 备 就 绕 ， 现 在 可 以 组 疙 我 们 的 词 频 统 计 滑 数 了 。 
组 释 


我 们 将 这 个 词 频 统计 函数 命名 为 count-words-sedquentiaL， 它 接受 一 个 页 面 序列 ， 同 时 返 
回 含 有 对 应 词 频 的 map: 


FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn count-words-sequential [pages] 
(frequencies (mapcat get-words pages))) 


中 举例 说 明 ， 假设 有 一 个 数学 函数 f(a,b,c)，partial(f，1) 返 回 的 是 数学 函数 f(1,b,c)， 函 数 的 参数 a 已 经 被 代 
ST 一 一 译 者 注 
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这 段 代 码 首 先 用 (mapcat get-words pages) 将 页 面 序列 转化 成 词 序列 ， 再 将 词 序 列传 给 
fredquencles 。 


与 之 前 命令 式 版 本 (参见 2.4 广 中 “一 个 完整 的 程序 ”部 分 ) 相 比 ， 函 数 式 版 本 的 何洁 优美 
又 一 次 得 到 印证 。 


懒 情 一 点 好 

你 可 能 有 一 个 困惑 一 一 Wikipedia dump 的 大 小 将 近 40 GiB。 如 采 count-words 将 其 中 的 词 都 
存放 到 一 个 序列 中 ， 内 存 应 该 会 不 够 用 。 
实际 情况 并 不 是 这 样 ， 因 为 Clojure 中 序列 是 懒惰 的 ( lazy ) 一 一 其 中 的 元 素 仅 在 需要 时 被 求 
举例 说 明 : 
range 国 数 会 产生 一 个 数列 : 


user=> (range 0 10) 
(0123456789) 


上 上面 的 数列 在 REPL 中 会 被 完全 求 信 并 输出 。 

我 并 不 能 阻止 你 对 一 个 超大 范围 进行 求 值 , 但 这 样 做 , 你 的 电脑 很 有 可 能 变 成 一 人 台 高 热 的 暖 
风机 。 比 如 下 面 的 这 个 例子 ,需要 花费 很 长 时 间 才 会 得 到 输出 (假设 内 存 足 够 用 ): 

user=> (range 0 100000000) 

骨 试 试 下 面 的 例子 ， 能 立刻 得 到 输出 : 

user=> (take 10 (range 0 100000000)) 

(01234567 8 9) 

由 于 take 只 需要 数列 的 前 10 个 元 素 , 因此 range 只 需要 产生 10 个 元 素 。 这 个 机 制 适用 于 任意 
层次 的 般 套 : 

user=> (take 10 (map (partial * 2) (range 0 100000000) ) ) 

(0246810 12 14 16 18) 

甚至 可 以 使 用 无 穷 序 列 。 比 如 ，iterate 函 数 会 不 断 将 肝 个 函数 应 用 到 初始 值 、 第 一 次 的 返 
回 值 、 第 二 次 的 返回 值 …… 来 构成 无 穷 序 列 : 

user=> (take 10 (iterate inc 0) ) 

(0123456789) 


user=> (take 10 (iterate (partial + 2) 0)) 
(0246810 12 14 16 18) 


所 谓 序 列 是 懒 居 的， 不 仅 意味 独 其 仅 在 需要 时 《也 可 能 永远 不 需要 ) 才 生成 序列 的 尾 元 素 ， 
还 意味 着 序列 的 头 元 素 在 使 用 后 〈《 如 宁 不 再 需要 使 用 ) 可 以 被 舍弃 。 比 如 ， 下 面 的 例子 需要 运行 
一 段 时 间 ， 但 不 会 耗 尽 内 存 : 


值 


O 


user=> (take-last 5 (range 0 100000000 ) ) 
(99999995 99999996 99999997 99999998 99999999 ) 


回 到 词 频 统计 ，get-pages 返 回 的 页 面 序列 是 懒惰 的 ， 因 此 count-words 完 全 可 以 处 理 40 
GiB 的 Wikipedia dump。 另 外 这 段 代码 很 容易 被 并 行 化 ， 明 天 将 具体 介绍 。 


第 一 天 总 结 
第 一 天 的 学 习 结 束 了 。 第 二 天 我 们 会 对 词 频 统计 进行 并 行 化 ， 还 要 深入 了 解 fold 了 水 数 。 
第 一 天 我 们 学 到 了 什么 
由 于 普遍 使 用 了 共享 可 变 状 态 , 用 命令 式 语言 进行 并 发 编程 的 难度 是 比较 高 的 。 子 数 式 编程 
抛弃 了 共 至 可 变 状 态 ， 让 并 发 编程 变 得 更 容易 也 更 安全 。 本 市 中 我 们 学 习 了 以 下 知识 : 
口 用 map 或 mapcat 对 一 个 序列 的 每 个 元 素 进 行 映 射 ; 
口 用 序列 的 懒惰 特性 来 处 理 较 大 的 序列 ， 甚 至 无 穷 序 列 ; 
口 用 reduce 将 序列 化 徐 为 一 个 (可 能 比较 复杂 的 ) 值 ; 
口 用 foLd 对 reduce 进 行 并 行 化 。 
第 一 天 自习 
查找 
口 阅读 Clojure 的 cheat sheet， 快 速 查 阅 Clojure 的 稼 用 函数 。 
口 阅读 Lazy-seq 的 相关 文档 ， 使 用 Lazy-seq 可 自 建 一 个 懒惰 序列 。 
实 距 
口 与 许多 果 数 式 语 言 不 同 ，Clojure 并 不 支 持 尾 调 用 消除 (tail-call elimination )， 因 此 Clojure 
代码 通常 很 少 使 用 递归 。 重 写 recursive-sum 函 数 (参见 本 节 “ 第 一 个 函数 式 程序 ”部 
分 )， 用 Loop 和 recur 替 换 递 归 。 
口 重 写 reduce-sum 国 数 ( 人 参见 本 节 “ 第 一 个 困 数 式 程序 ”部 分 ), 用 读 取 需 宏 (reader macro ) 
#( ) 替 换 (fn ...)。 


3.3 第 二 天 : 函数 式 并 行 

今天 先 来 学 习 如 何 将 Wikipedia 词 频 统计 程序 并 行 化 ， 人 然后 再 深入 人 研究 fold 滑 数 的 细 市 ， 以 
说 明 如 何 用 也 数 式 编程 来 实现 并 行 。 
每 次 一 页 


第 一 天 我 们 学 习 了 map 图 数 ， 其 将 茶 函 数 依次 应 用 于 输入 序列 的 每 个 元 系 ， 并 返回 困 效 应 用 


党 
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后 的 新 序列 。 但 这 个 过 程 其 实 没 有 必要 串 行 执行 一 一 Clojure 提 供 了 功能 类 似 于 map 的 pmap 气 数 ， 
其 应 用 也 数 的 过 程 是 可 以 并 行 的 。 pmap 在 需要 结 末 时 可 以 并 行 计算 , 但 仅 生 成 所 需要 的 而 不 是 全 
部 的 结果 ， 这 个 特性 称 为 半 懒 惰 (semi-lazy ) "。 

用 下 面 的 代码 可 以 并 行 地 将 Wikipedia 的 页 序列 转换 成 词 频 map 的 序列 : 

(pmap #(frequencies (get-words %)) pages) 

上 述 代 人 码 用 读 取 絮 宏 #(... ) 来 声明 传 给 pmap 的 函数 ， 读 取 融 宏 可 以 快速 创建 匿名 消 数 。 柯 
数 的 参数 通过 %1 、%2 等 来 标识 ， 如 果 只 有 一 个 参数 ， 可 以 通过 % 进 行 标 识 : 


#(frequencies (get-words %)) 


与 其 等 价 的 代码 为 : 
(fn [page] (frequencies (get-words page) ) ) 
来 测试 一 下 : 
wordcount.core=> (def pages ["one potato two potato three potato four" 
# => "five potato six potato Seven potato more"]) 


#'wordcount. core/pages 

wordcount,core=> (pmap #(frequencies (get-words %)) pages ) 
({"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 
{"five" 1, "potato" 3, "six" 1, "seven" 1, "more" 1}) 


现在 可 以 将 所 得 的 序列 化 简 成 一 个 map， 从 而 得 到 我 们 需要 的 词 频 总 数 。 化 简 晒 数 将 按照 以 
下 规则 合并 两 个 map: 

口 输出 map 的 键 是 两 个 输入 map 的 键 的 并 集 ; 

口 厂 某 键 存在 于 一 个 输入 map 中 ， 那 在 输出 map 中 的 对 应 值 等 于 在 输入 map 中 的 对 应 值 ; 

口 奢 某 键 存在 于 两 个 输入 map 中 ，, 那 在 输出 map 中 的 对 应 值 等 于 在 输入 map 中 的 对 应 值 的 和 。 

如 图 3-1 所 示 。 

我 们 可 以 上 自 建 一 个 化 简 函 数 ,但 (与 以 往 一 样 ) 标准 库 已 经 提供 了 合适 的 图 数 。API 文 档 
如 下 : 

(merge-with f & maps) 

merge-with 将 maps 中 其 余 的 map 合 并 到 第 一 个 map 中 ， 返 回合 并 后 的 map 一 一 如 果 多 个 map 
包含 同一 个 键 ， 那 该 键 对 应 的 多 个 值 将 被 ( 从 左 癌 右 地 ) 合并 到 结果 map 中 ,合并 的 方法 是 调用 


(f val-in-result val-in-latter), 


GO David Edgar Liebke 给 出 过 一 个 更 容易 理解 的 描述 : http://incanter.org/downloads/fjclj.pdf。 一 一 译 者 注 
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| | 
Y yy 


three:] 
four:1 
potato:1 


one:1 
two:l 
potato:2 


yy one:1 | 2 


tyvo:1 

three:1 一 一 > 统计 词 频 
four:1 a 
potato:3 > 合并 词 频 


图 3-1 将 Wikipedia 的 两 页 合并 成 一 个 词 频 map 


之 前 我 们 学 习 过 partiat 国 数 ,其 返回 一 个 被 局 部 代入 的 国 数 ,所 以 (partialL merge-with +) 
可 以 返回 一 个 用 于 合并 map 的 函数 ， 这 个 函数 使 用 + 对 同一 个 键 的 多 个 值 进行 合并 : 

user=> (def merge-counts (partial merge-with +) ) 

#'USer/merge-counts 


user=> (merge-counts {:x 1 :y 2} {:y 1 :z 1}) 
{:z 1, :y 3, :x 1} 


将 上 述 要 点 组 厂 起 来 ， 就 得 到 了 并 行 厂 本 的 词 频 统计 程序 : 


FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn count-words-parallel [pages] 
(reduce (partial merge-with +) 
(pmap #(frequencies (get-words %)) pages))) 


搞定 ， 现 在 来 测试 一 下 性 能 。 


利用 批 处 理 改善 性 能 
在 我 的 MacBook Pro 上 ， 用 串 行 版 本 的 词 频 统 计 程 序 处 理 Wikipedia 的 前 100 000 页 需要 花费 
140 秒 。 并 行 版 本 需要 花费 94 秒 ， 加 速 比 是 1.3。 我 们 已 经 使 用 并 行 得 到 了 提速 ， 但 并 不 理想 。 


与 之 前 在 线程 与 锁 方 案 中 分 析 的 原因 类 似 〈 人 参见 2.4 世 )， 逐 页 地 进行 计数 和 合并 会 导致 大 量 
的 合并 操作 。 如 来 能 对 页 面 进行 批 处 理 ， 将 大 大 减少 合并 操作 的 次 数 ， 如 图 3-2 所 示 。 
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页 面 批 次 1 | 页 面 批 次 2 | 页 面 批 次 3 | 页 面 批 次 4 吕 


时 间 | | | | 
Vy Vy Vy Vy 
词 频 map1| 问 频 map2| | 词 频 map3| | 词 频 map4 


-和 [计数 结果 1 


页 面 批 次 2 | 页 面 批 次 3 | 页 面 批 次 4 | 页 面 批 次 5 


v Y Y Y 


NX 
计数 结果 十--->| 计 数 结果 2 


页 面 批 次 3 | 页 面 批 次 4 | 页 面 批 次 5| 页 面 批 次 6 二 


| | | 
Vy Y Y y 


一 一 > 统计 词 频 


> 合并 词 频 


-> 四 5 
图 3-2” 批 处 理 版 本 的 词 频 统 计 
举例 说 明 ， 将 100 个 页 面 作为 一 个 批 次 进行 处 理 ，word-count 的 代码 修改 如 下 : 


FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn count-words [pages] 
(reduce (partial merge-with +) 
(pmap count-words-sequential (partition-all 100 pages)))) 


这 里 用 到 了 partition-all 岗 数 ， 其 可 以 将 一 个 序列 中 的 元 系 分 批 (或 称 分 区 )， 构 成 多 个 
序列 : 


user=> (partition-all 4 [1 2 3456789 10]) 
((1234) (5678) (9 10)) 


像 之 前 一 样 ， 可 以 用 count-words-sequential 对 每 批 页 面 进行 词 频 统 计 ， 然 后 合并 结果 。 
不 出 所 料 ， 这 一 版 本 处 理 Wikipedia 的 前 100 000 页 需要 花费 44 秒 ， 提 速 3.2 倍 。 


化 简 器 


第 一 天 ， 我 们 曾经 用 fotLd 蔡 换 reduce 并 获得 了 神奇 的 性 能 提升 。 想 要 理解 foLd 的 原理 ， 需 
要 先 理解 Clojure 的 reducers 库 。 


邮 
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化 简 器 〈reducer ) 描述 了 对 集合 进行 化 简 的 方法 。 普 通 版 本 的 map 接 受 一 个 子 数 和 一 个 (可 
能 是 懒惰 的 ) 序列 ， 并 返回 态 一 个 〈 可 能 是 懒惰 的 ) 序列 : 


User=> (map (partial * 2) [1 2 3 4]) 
(246 8) 


而 clojure.core,.reducers 提 供 的 map 则 不 同 ， 接 受 相同 的 参数 ， 但 返回 的 是 一 个 化 简 覆 
reducible. 


User=> (require '[clojure.core.reducers :as r]) 

nil 

user=> (r/map (partial * 2) [1 2 3 4]) 

#<reducers$foLder$reify 1599 clojure.core.reducers$folder$reify 1599@151964cd> 


reducible 不 能 作为 值 被 直接 使 用 ， 而 是 作为 参数 被 传 给 reduce: 


User=> (reduce conj [] (r/map (partial * 2) [1 2 3 4])) 
[246 8] 


上 述 代 码 中 ，conj 函数 的 第 一 个 参数 是 一 个 集合 (初始 时 是 空 集合 [] )， 其 将 第 二 个 参数 合 
并 到 第 一 个 参数 中 。 因 此 这 上 段 代 人 码 的 结果 与 只 执行 map 的 结果 相同 。 
into 所 数 内 部 使 用 了 reduce， 所 以 下 面 这 段 代码 与 上 面 那 段 是 等 价 的 : 


user=> (into [] (r/map (partial * 2) [1 2 3 4])) 
[246 8] 


clojure.core 提 供 的 大 部 分 友 列 处 理 函 数 都 有 对 应 的 化 简 右 版 本 ， 包 括 之 前 见 过 的 map 和 
mapcat。 与 cLojure. core 提 供 的 困 数 类 似 ， 其 化 简 需 版 本 也 可 以 被 艇 套 使 用 : 


user=> (into [] (r/map (partial + 1) (r/filter even? [1 2 3 4]))) 
ES 


一 个 化 和 价 大， 并 不 代表 函数 返回 的 结 末 ,而 是 代表 如 何 产 生 结 琳 的 描述 一 一 被 传 给 reduce 
或 foLd 之 前 ， 化 侧 带 不 会 进行 求 值 。 这 样 做 主要 有 两 个 好 处 : 

口 区 侄 的 疯 数 返回 化 条 瘟 比 返回 懒惰 序列 的 效率 更 高 , 因为 其 不 用 构造 处 于 中 间 状 态 的 序列 ; 

口 对 整个 藤 套 链 的 集合 操作 ， 可 以 用 fotd 进 行 并 行 化 。 


化 简 器 内 幕 


为 了 理解 化 简 冀 的 原理 ,我 们 将 创建 一 个 略微 简单 却 仍 然 高 效 的 类 似 于 clojure.core. 
reducers 的 库 。 首 先 需 要 理解 Clojure 的 协议 (protocol )。 协议 非常 类 似 于 Java 中 的 接口 一 一 其 是 
一 系列 方法 的 集合 ， 并 定义 了 一 个 抽象 的 概念 。Clojure 的 集合 就 是 通过 CollReduce 协 议 来 支持 
化 们 操作 的 : 

(defprotocol CollReduce 

(coll-reduce [coll f] [coLL f init])) 
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CoLLReduce 声 明了 一 个 函数 coLL- reduce, 这 是 一 个 可 变 参 数 (multiple arities ) 函数 一 一 可 
以 接受 两 个 参数 (coLL、f )， 也 可 以 接受 三 个 参数 (coLL、f、init )。 第 一 个 参数 类 似 于 Java 
中 的 this， 支 持 多 态 性 分 派 (polymorphic dispatch )。 来 看 看 这 段 Clojure 代 三 : 


(coll-reduce coll f) 
与 这 段 代 人 码 等 价 的 Java 代 人 码 是 : 
coll.collReduce(f); 


reduce 肯 数 只 是 简单 地 调用 coLL- reduce, 而 具体 的 任务 执行 则 交 给 集合 本 刁 。 我 们 上 自己 实 
现 的 类 似 reduce 困 数 中 使 用 了 这 个 特性 : 


FunctionalProgramming/Reducers/src/reducers/core.cl] 


(defn my-reduce 
([f coll] (coll-reduce coll f)) 
([f init coll] (coll-reduce coll f init))) 


这 上 段 代 码 还 使 用 了 一 个 之 前 没 学 过 的 defn 特 性 一 一 defn 可 以 定义 参数 个 数 不 同 的 多 个 函数 
(本 例 中 是 两 个 参数 和 三 个 参数 ) my- reduce 负 责 将 参数 转发 给 coLL- reduce。 来 验证 一 下 : 

reducers.core=> (my-reduce + [1 2 3 4]) 

10 


reducers.core=> (my-reduce + 10 [1 2 3 4]) 
20 


现在 来 实现 一 个 类 似 map 的 函数 : 


FunctionalProgramming/Reducers/src/reducers/core.clj 
(defn make-reducer [reducible transformf] 
(reify 
CollReduce 
(coll-reduce [ f1] 
(coll-reduce reducible (transformf f1) (f1))) 
(coll-reduce [ fl init] 
(coll-reduce reducible (transformf f1) init)))) 


(defn my-map [mapf reduciblel 
(make-reducer reducible 
(fn [reducef] 
(fn [acc v] 
(reducef acc (mapf v)))))) 


这 上 段 代 码 定 义 了 make-reducer 国 数 ， 其 接受 一 个 化 简 需 reducibte 和 一 个 转换 呆 数 
transformf， 并 返回 一 个 CollReduce 协 议 的 实例 。 用 reify 实 现 一 个 协议 ， 类 似 于 在 Java 中 用 
new 创 建 一 个 接口 的 匿名 实例 。 


这 个 CoLLReduce 协 议 的 实例 会 调用 reducibtLe 的 coLL- reduce 方 法 。 其 用 transformf 对 f1 
进行 转换 ， 并 用 转换 的 结果 ( 仍 是 一 个 也 数 ) 作为 传 给 coLL- reduce 方 法 的 一 个 参数 。 


WW 小 乔 爱 问 : 


= 司 /- 人 


局 ”下划线 的 作用 ? 


在 Clojure 中 下 划 线 (_) 通常 作为 未 被 使 用 的 函数 参数 的 参数 名 。 之 前 的 代码 可 以 写成 ， 


(coll-reduce [this f1] 
(coll-reduce reducible (transformf f1) (f1))) 


但 用 下 划 线 可 以 明确 地 表达 出 this 是 未 被 使 用 的 。 


对 于 传 给 make- reducer 的 转换 函数 transformf， 其 接受 一 个 函数 作为 
数 被 转换 后 的 版 本 。 以 my-map 中 的 转换 函数 为 例 : 


(fn [reducef] 
(fn [acc v] 
(reducef acc (mapf v)))) 


曾经 介绍 过 , 在 化 简 过 程 中 ,为 集合 中 的 每 个 元 素 都 会 调用 一 次 化 简 冰 数 。 化 简 函 数 的 第 一 
个 参数 是 之 前 化 简 的 结果 ( acc )， 第 二 个 参数 是 集合 中 的 某 个 元 素 。 所 以 ,在 my-map 中 ， 对 化 
简 函 数 reducef 的 第 二 个 参数 需要 用 mapf ( mapf 是 传 给 my-map 的 函数 ) 进行 转换 。 来 验证 一 下 : 

reducers.core=> (into [] (my-map (partial * 2) [1 2 3 4])) 

[246 8] 


reducers.core=> (into [] (my-map (partial + 1) [1 2 3 4])) 
[234 5] 


当然 ，my-map 也 支持 般 套 调用 .: 


reducers.core=> (into [] (my-map (partial * 2) (my-map (partial + 1) [1 2 3 4]))) 
[4 6 8 10] 


如 果 理 解 了 上 面 的 例子 ， 就 会 发 现 其 只 进行 了 一 次 化 人 简 ， 化 简 函 数 是 (partial * 2) 和 
(partial + 1) 组 合 后 的 函数 。 

我 们 已 经 学 习 了 化 人 简 帮 是 如 何 提供 化 人 简 操 作 的 。, 接 下 来 将 学 习 折 闭 操作 fold 是 如 何 让 化 简 操 
作 并 行 化 的 。 


分 而 治之 


较 之 逐个 元 系 地 对 集合 进行 化 简 ，fold 则 使 用 二 分 算法 。 首 先 ，fold ( 折 释 操作 ) 将 集合 
分 为 两 组 ,每 组 继续 分 为 更 小 的 两 组 ， 以 此 类 推 , 直到 每 个 分 组 的 规模 小 于 某 个 限制 值 ( 默认 值 
是 512 )。 其 次 ，foLd 对 每 个 分 组 进行 逐个 元 系 地 化 向 。 最 后 ， 对 各 分 组 的 结果 进行 两 两 合并 , 下 
到 剩 下 一 个 最 终 的 结果 。 整 个 过 程 类 似 于 一 个 二 义 树 ， 如 图 3-3 所 示 。 
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图 3-3” fold 二 又 树 


因为 foLd (利用 Java 7 的 Fork/Join 框 架 ) 创建 了 一 个 并 行 任务 的 处 理 树 ， 化 简 操 作 和 合并 操作 
才 得 以 并 行 执行 。 化 简 操 作 在 树 的 叶子 节点 进行 。 下 一 级 节点 等 待 上 一 级 方 点 的 化 简 操 作 的 结果 ， 
并 将 这 些 结果 进行 合并 。 整 个 过 程 将 这 样 一 直 进 行 下 去 ， 直 到 树 的 根 节 点 ， 获 得 最 终 的 一 组 结 

如 果 传 给 foLd 的 图 数 仅 有 一 个 〈 之 前 的 例子 中 是 + )， 这 个 函数 将 被 用 于 化 人 简 操 作 和 合并 操 
作 。 有 时 也 需要 让 化 简 图 数 与 合并 困 数 不 同 ， 以 后 我 们 会 学 习 到 这 一 点 。 


对 折 芭 的 支持 
可 以 进行 折 肢 的 集合 不 仅 需要 支持 CoLLReduce 协 议 ， 也 需 支持 CoLLFoLd 协 议 : 


(defprotocol CollFold 
(coll-fold [coll n combinef reducef])) 


类 似 于 化 简 操 作 被 委托 给 coll-reduce， 折 徐 操 作 则 被 委托 给 coll-fold: 


FunctionalProgramming/Reducers/src/reducers/core.clj 
(defn my-fold 
([reducef colll] 
(my-fold reducef reducef coll)) 
([combinef reducef colll] 
(my-fold 512 combinef reducef coll)) 
([n combinef reducef colll] 
(coll-fold coll n combinef reducef ) ) ) 


当 接受 两 个 参数 或 三 个 参数 时 ，my -fotLd 为 combinef 和 n 提 供 了 默认 值 ， 并 调用 自己 。 当 接 
受 四 个 参数 时 ，my-fold 将 调用 集合 的 coll-fold 隐 数 。 


为 了 让 make-reducer 支 持 折 禾 操 作 ， 只 需要 让 make-reducer 实 现 CollReduce 的 同时 再 实 
现 CollFold: 
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FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn make-reducer [reducible transformf] 


(reify 
> CollFold 
> (coll-fold [ n combinef reducef] 
> (coll-fold reducible n combinef (transformf reducef))) 
CollReduce 


(coll-reduce [ fl] 

(coll-reduce reducible (transformf fl1) (f1))) 
(coll-reduce [ fl init] 

(coll-reduce reducible (transformf f1) init)))) 


实现 CollFold 非 常 类 似 于 实现 CollReduce 一 一 首先 对 参数 中 的 化 简 函 数 进行 转换 ， 然 后 将 
参数 传 给 reducibtLe 的 coLL-foLd。 来 验证 一 下 : 


reducers.core=> (def v (into [] (range 10000) ) ) 
#'reducers.core/v 

reducers,core=> (my-fold + v) 

49995000 

reducers.core=> (my-fold + (my-map (partial * 2) v)) 
99990000 


面 这 个 例子 使 用 了 不 同 函数 分 别 进行 化 简 和 合并 。 


用 折 又 实现 辣 频 统计 


回 到 之 前 词 频 统计 的 场景 , 用 foLd 来 实现 frequencies 困 数 时 , 非常 适合 使 用 不 同 的 函数 进 
行 化 简 和 合并 : 


FunctionalProgramming/Reducers/src/reducers/parallel frequencies.clj 


(defn parallel-frequencies [colll] 
(r/fold 
(partial merge-with +) 
(fn [counts x] (assoc counts x (inc (get counts x 0)))) 
coll)) 


这 让 我 们 想起 了 今天 早 些 时 候 学 习 的 批 处 
然后 通过 (partial merge-with +) 进 行 合 并 。 


不 过 由 于 fold 不 能 适用 于 懒惰 序列 ( 因为 无 法 对 懒惰 序列 进行 二 分 )， 因 此 没 办 法 用 
Wikipedia 的 页 来 测试 foLd。 但 可 以 用 一 个 很 长 的 随机 数 序列 来 进行 模拟 测试 。 

repeatedtLy 国 数 反复 调用 传 入 的 困 数 来 构造 一 个 无 穷 的 懒惰 序 列 。 本 例 中 传人 的 是 
rand-int 据 数 ， 每 次 调用 rand-int 会 得 到 一 个 随机 整数 ， 


user=> (take 10 (repeatedly #(rand-int 10))) 
(262885925 5) 


人 简 成 map， 
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用 下 面 的 代码 可 以 构造 一 个 很 长 的 随机 数 序列 : 


reducers.core=> (def numbers (into [] (take 10000000 (repeatedly #(rand-int 10) ) ) ) ) 
#'reducers.core/numbers 


现在 分 别 用 frequencies 和 parallel-frequencies 对 该 随机 数 序 列 的 整数 频率 进行 统计 : 


reducers.core=> (require ['reducers.parallel-frequencies :refer :alLL]) 

nil 

reducers.core=> (time (frequencies numbers)) 

"Elapsed time: 1500.306 msecs" 

{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 999993，… 
reducers.core=> (time (parallel-frequencies numbers)) 

"Elapsed time: 436.691 msecs" 

{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 999993，… 


可 以 看 到 串 行 执行 的 frequencies 运 行 了 1500 ms， 而 并 行 版 本 运行 了 400+ ms, 提速 近 3.5 售 。 


LA = 上 
第 二 天 忆 缩 


我 们 在 第 二 天 中 讨论 了 如 何 用 Clojure 实 现 并 行 。 明 天 将 关注 如 何 用 future 模 型 和 promise 模 型 
实现 并 行 ， 以 及 如 何 利 用 它们 进行 数据 流 式 编程 ( dataflow programming )。 

第 二 天 我 们 学 到 了 什么 

Clojure 可 以 将 串 行 操作 轻松 卓然 地 并 行 化 。 

D pmap 可 以 将 映射 操作 并 行 化 ， 构 造 一 个 半 懒 惰 的 map。 

口 利用 partition-aLL 可 以 对 并 行 的 映 射 操作 进行 批 处 理 ， 以 提高 处 理 效 率 。 

D foLd 使 用 分 而 治之 的 策略 ， 可 以 将 化 简 操 作 并 行 化 。 

口 cLojure,core,reducers 包 提供 的 类 似 map 、 类 似 mapcat、 类 似 fiLter 的 因数 返回 的 并 
不 是 序列 ， 而 是 化 简 帮 reducible， 可 以 说 这 是 化 简 操 作 的 关键 所 在 。 

第 二 天 自习 

查找 

口 观看 Rich Hickey 在 QCon 2012 上 介绍 reducers 库 的 视频 。 

口 阅读 pcatLs 和 pvatues 的 相关 文档 一 一 这 两 个 函数 与 pmap 有 什么 区 别 ?” 是 否 能 利用 pmap 
来 实现 它们 ? 

实践 

口 在 my-map 的 基础 上 创建 ny-fLatten 和 my-mapcat 国 数 。 注 意 : 它们 都 比 my-map 更 复杂 ， 
因为 需要 将 输入 序列 的 一 个 元 取 对 应 到 输出 序列 的 一 个 或 多 个 元 素 。 过 到 困难 时 可 以 参 
见 本 书 配 套 代码 。 

口 创建 my-filter 也 数 。 它 也 比 my-map 更 复杂 ， 因 为 需要 减少 输入 序列 的 元 素 个 数 。 
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前 两 天 我 们 一 下 在 关注 并 行 , 今天 会 将 注音 力 转 癌 并 发 。 在 这 之 前 ,我们 将 进一步 探究 为 何 
聘 数 式 编程 能 轻 多 地 实现 并 行 化 。 


同样 的 结构 ， 不 同 的 求 值 顺序 

回顾 过 去 两 天 ， 我 们 的 学 习 一 下 围绕 着 同一 个 主题 一 一 使 用 函数 式 编程 可 以 玩 转 程序 的 求 
值 顺序 。 如 采 两 个 计算 过 程 相互 独立 ， 就 可 以 任意 安排 这 两 个 计算 过 程 的 求 什 顺序， 包括 让 它 

下 面 的 代码 , 均 进 行 相同 的 计算 、 返 回 同样 的 结果 、 具 有 相似 的 代码 结构 ,但 它们 以 完全 不 
同 的 顺序 进行 求人 : 

(reduce + (map (partial * 2) (range 10000))) 

这 上 段 代码 化 人 简 一 个 股 套 了 懒 情 序列 的 懒惰 序列 

(reduce + (doall (map (partial * 2) (range 10000)))) 

这 段 代 码 首 先 构 造 map 的 输出 序列 〈doatLt 强 迫 懒 惰 序 列 对 全 部 元 素 进 行 求人 )， 然 后 再 进行 
化 人 简 。 

(reduce + (pmap (partial * 2) (range 10000))) 

这 段 代 码 化 简 一 个 半 懒 惰 的 序列 ， 这 个 序列 是 并 行 求全 的 。 

(reduce + (r/map (partial * 2) (range 10000))) 

这 段 代码 用 单个 化 简 函 数 对 一 个 懒惰 序列 进行 化 简 ， 该 化 简 函 数 由 + 和 (partiat * 2) 组 合 
而 成 。 

(r/fold + (r/map (partial * 2) (Into [] (range 10000)))) 

这 段 代码 首先 构造 range 的 输出 序列 ， 然 后 创建 进行 化 简 和 合并 的 处 理 树 ， 并 根据 此 树 对 序 
列 进行 并 行 地 化 简 。 

在 Java 这 类 命令 式 语 言 中 ， 求 值 顺 序 与 源码 的 语句 顺序 紧密 相关 。 虽 然 编 译 需 和 运行 时 
(runtime ) 都 可 能 造成 一 些 乱 序 执行 《比如 我 们 在 讨论 线程 与 锁 时 一 百 在 留意 的 乱 序 执行 现象 ， 
参见 2.2 节 中 “诡异 的 内 存 ” 部 分 )， 但 一 般 来 说 ， 求 值 顺序 与 其 在 代码 中 的 顺序 基本 一 致 。 

阴 数 式 语言 则 更 有 一 种 声明 式 的 郊 儿 。 函 数 式 程 序 并 不 是 描述 “如 何 求 值 以 得 到 结 采 ”， 而 
是 描述 “结果 应 当 是 什么 样 的 "。 因 此 ， 在 哺 数 式 编 程 中 ， 如 何 安 排 求 值 顺序 来 获得 最 终结 果 是 
相对 自由 的 ， 这 正 是 函数 式 代码 可 以 轻松 并 行 的 关键 所 在 。 

下 一 市 我 们 将 学 习 为 什么 函数 式 编程 可 以 玩 转 求 值 顺序 ， 而 命令 式 二 言 却 不 具有 这 种 能 力 。 


每 个 懒惰 序列 的 元 素 神 是 按 需 求 值 的 。 
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引用 透明 性 

在 纯粹 的 函数 式 语言 中 ,也 数 都 具有 引用 黎 明 性 一 一 在 任何 调用 函数 的 地 方 , 都 可 以 用 函数 
运行 的 结 采 来 答 换 函 数 的 调用 ， 而 不 会 对 程序 产生 副作用 。 来 看 一 些 例子 : 

(+ 1 (+ 2 3)) 

它 与 下 面 的 代码 是 等 价 的 : 

(+ 1 5) 

其 实 , 描述 函数 式 代 码 执行 方式 的 一 种 方法 就 是 不 断 用 冰 数 的 执行 结 采 符 换 函 数 的 调用 , 下 
到 得 到 最 终结 果 。 例 如 按照 下 面 的 方式 来 计算 (+ (+ 1 2) (+ 3 4)): 

人 

也 可 以 是 下 面 的 求 值 顺序 : 

Ft) = 

当然 , 这 个 结论 对 于 Java 的 + 操作 也 适用 。 与 Java 不 同 的 是 ,函数 式 编程 的 每 个 函数 都 具有 引 
用 透明 性 。 这 也 是 我 们 能 安全 地 调整 函数 求 值 顺序 的 关键 所 在 。 


WW 小 乔 爱 问 : 
过 Clojure 不 是 不 纯粹 吗 ? 


下 一 章 我 们 将 学 习 到 Clojure 有 是 一 门 不 纯 料 的 函数 式 语 言 一 在 Clojure 中 可 以 构造 带 有 
副作用 的 函数 ， 这 样 的 函数 不 具有 引用 透明 性 。 

在 实践 中 这 并 不 会 造成 很 大 影响 ， 因 为 常见 的 Clojure 代码 极 少 出 现 副 作用 ， 并 且 出 现 
副作用 时 会 非常 明显 。 有 一 些 规则 描述 了 副作用 在 何 处 出 现 是 安全 的 ,， 只 要 遵循 这 些 规 则 就 
不 大 可 能 遭遇 由 求 值 顺序 带 来 的 问题 。 


数据 流 

我 们 来 思考 一 下 数据 是 如 何在 函数 间 流 动 的 。 图 3-4 示 意 的 是 (+ (+ 1 2) (+ 3 4)) 的 数 
据 流 。 

由 于 (+ 1 2) 和 (+ 3 4) 之 间 没 有 依赖 关系 ， 所 以 理论 上 这 两 步 求 值 能 以 任何 顺序 进行 ， 包 
括 同时 执行 。 前 两 步 求 值得 到 结果 后 ， 最 后 一 步 加 法 才能 进行 。 
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图 3-4 (+ (+ 1 2) (+34)) 的 数据 流 


理论 上 ,运行 时 可 以 从 这 幅 图 的 左 端 出 发 ， 辐 右 并 “推进 ”数据 。 当 某 清 数 所 依赖 的 数据 都 
可 用 时 , 该 函数 就 可 以 执行 了 。 所 有 也 数 (至少 是 理论 上 ) 都 可 以 同时 执行 。 这 种 执行 方式 被 称 
为 数据 流 式 编程 ( dataflow programming ) 。Clojure 提 供 了 future 模 型 和 promise 模 型 来 支持 这 种 执 
条 方式。 


Future 模 型 


future 也 数 可 以 接受 一 段 代码 ， 并 在 一 个 单独 的 线程 中 执行 这 段 代码 。 其 返回 一 个 future 
对 和 象 : 


user=> (def sum (future (+ 1234 5))) 
#'USer/sum 

USer=> sum 

#<cores$future calls$reify 611065d4ee7d0: 15> 


可 以 利用 deref 或 其 简写 @ 对 future 对 象 进行 解 引 用 ， 来 获取 其 代表 的 值 : 


user=> (deref sum) 
15 

USer=> @sum 

15 


对 future 对 象 进行 解 引 用 将 阻塞 当前 线程 ， 百 到 其 代表 的 值 变 得 可 用 (或 者 称 为 被 求 值 )。 现 
在 我 们 可 以 准确 地 构造 出 图 3-4 所 示 的 数据 流 图 了 : 


user=> (let [a (future (+ 1 2)) 
# => b (future (+ 3 4))] 


# => (+ @a @b)) 


10 
这 段 代码 首先 用 let 将 (future (+ 1 2) ) 赋 给 a， 并 将 (future (+ 3 4) ) 赋 给 b。 对 (+ 1 2) 
和 (+ 3 4) 的 求 值 可 以 分 别 在 不 同 线程 中 进行 。 最 后 ， 外 层 的 加 法 将 一 直 阻 蹇 ， 直 到 内 层 的 加 法 
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当然 ， 对 于 这 种 两 个 数 求 和 的 简单 计算 ， 使 用 future 模 型 是 大 材 小 用 一 一 之 后 我 们 还 将 学 习 
更 有 现实 音义 的 例子 。 不 过 还 是 先 来 了 解 一 下 Clojure 的 promise 模 型 。 


Promise 模 型 


类 似 于 future 对 象 ，promise 对 象 也 是 异步 求 值 的 ， 也 通过 defer 或 6@ 解 引用 ， 在 求 值 前 也 会 阻 
塞 线 程 。 不 同 的 是 创建 一 个 promise 对 象 后 ， 使 用 promise 对 象 的 代码 并 不 会 立刻 执行 ， 而 是 等 到 
用 deliver 为 promise 对 象 赋值 后 才 会 执行 。 下 面 用 一 个 REPL 会 话 来 举例 : 


user=> (def meaning-of-life (promise)) 

#'User/meaning-of-life 

user=> (future (printLn "The meaning of Life is:" @meaning-of-life)) 
#<core$future call$reify 6110@224e59d9; :pending> 

user=> (deliver meaning-of-life 42) 

#<core$promise$reify 6153@52c9f3c7: 42> 

The meaning of Life is: 42 


首先 ， 构 造 了 一 个 叫 meaning-of-Life 的 promise 对 象 。 然 后 ， 用 future 国 数 创建 一 个 线程 
来 打印 其 值 ( 像 这 样 利 用 future 函 数 创 建 线 程 是 Clojure 的 惯例 )。 最 后 ， 用 deliver 为 promise 对 
象 赋 值 ， 之 前 创建 的 线程 就 不 再 阻塞 了 。 


我 们 已 经 学 习 了 future 模 型 和 promise 模 型 ， 现 在 来 用 它们 创建 一 个 真实 的 应 用 。 


函数 式 Web 服 务 


我 们 将 创建 一 个 web 服务， 用 来 接收 实时 的 文本 数据 〈 例 如， 一 个 电视 节目 的 脚本 )， 并 进 
行 翻 详 。 文本 数据 由 片段 (snippet ) 构 成 , 片段 都 融 有 序号 。 以 路 易 斯 * 卡 罗 尔 的 证 作 Jabberwocky 
( 选 目 《爱丽 丝 镜 中 奇遇 》) 的 第 一 节 为 例 ， 来 说 明 片 段 这 个 概念 : 


0 Twas brillig, and the slithy roves 


1 Did gyre and gimble in the wabe: 
2 All mimsy were the borogoves, 


3 And the mome raths outgrabe. 

如 果 要 将 片段 0 提交 到 Web 服 务 ， 就 要 构造 一 个 发 往 /snippet/0 的 PUT 请 求 ， 其 内 容 是 “Twas 
brillig, and the slithy roves”。 片 段 1 将 被 发 往 /snippeW1， 以 此 类 推 。 

这 是 一 个 非 稼 简单 的 API， 然 而 实现 起 来 并 不 像 看 上 去 那么 简单 。 首 匈 ， 代 码 是 运行 在 一 个 
并 发 的 Web 服 务 硕 上 的 ， 这 就 要 求 代 码 是 线程 安全 的 。 其 次 ， 由 于 网 络 的 特性 ， 代 人 码 需要 处 理 一 
些 特殊 情况 ， 例 如 刻 段 丢失 、 重 试 、 重 复 提 交 和 乱 序 提交 。 

如 果 和 需要 按 序 号 处 理 厂 段 ( 即 厂 段 的 处 理 与 片段 到 达 服 务 亿 的 时 间 先 后 无 关 )， 束 必须 要 记 
录 哪些 片段 已 经 被 接收 、 哪 些 刻 段 已 经 被 人 处理。 当 接 收 到 新 的 片段 时 , 需要 检查 是 否 可 以 继续 处 


理 片段 。 这 个 任务 并 不 容易 ， 值 得 我 们 秀一 下 如 何 用 并 发 来 构造 一 个 简单 的 解决 方案 。 
图 3-5 展 示 了 解决 方案 。 


处 理 片 段 4 (等 符 ) 


Web 服 务 器 线程 片段 缓存 片段 处 理 线程 

PUT /snippet/3 日 六 :LE 
snippe — 提交 片段 a \ 

EE 处 理 片 段 2 

处 理 片段 3 I 


PUT /snippet/5——> 提交 片段 5 Eo 
1 
EO 


图 3-5 ”文本 数据 处 理 流程 


图 3-5 的 左 端 是 Web 服 务 器 创建 的 线程 ,用 来 处 理 输入 请 求 ; 右 端 是 囊 行 处 理 片段 的 线程 ， 正 
在 等 待 下 一 个 可 用 片段 。 下 一 节 将 讨论 snippets 结 构 ， 其 将 被 用 于 线程 之 间 的 交互。 

接收 片段 

我 们 用 下 面 的 结构 来 记录 已 经 被 接收 的 片段 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 
(def snippets (repeatedly promise)) 


snippets 是 一 个 由 promise 对 象 构 成 的 无 穷 懒 懈 序 列 。 当 某 个 片段 可 用 时 ,调用 
accept-snippet 来 为 对 应 的 promise 对 象 赋值 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(defn accept-snippet [n text] 
(deliver (nth snippets n) text)) 


要 上 串 行 地 处 理 片 段 ， 只 需 创 建 一 个 线程 ， 按 序号 对 每 个 promise 对 象 进行 解 引用 即 可 。 例 如 ， 
下 面 的 代码 可 以 串 行 输出 每 个 片段 的 值 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(future 
(doseq [snippet (map deref snippets)] 
(printLn snippet))) 


doseq 会 串 行 处 理 一 个 序列 。 本 例 中 ,doseq 处 理 的 序列 是 由 解 引 用 后 的 promise 对 象 构 成 的 ， 
snippet 指 加 正在 处 理 的 元 又。 
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剩 下 的 工作 就 是 将 所 有 这 些 组 装 成 一 个 web 服务。 下 面 的 代码 利用 了 Compojure 库 ": 


FunctionalProgramming/TranscriptHandler/src/server/core.cl)j 


(defroutes app-routes 
(PUT "/snippet/:n" [n :as {:keys [body]}] 
(accept-snippet (edn/read-string n) (slurp body)) 
(response "OK"))) 


(defn -main [& args] 
(run-jetty (site app-routes) {:port 3000})) 


这 上段 代码 定义 了 一 个 PUT 路 由 ， 其 将 调用 accept-snippet 函 数 。 我 们 使 用 了 内 置 的 Web 服 
务 器 Jetty2 一 与 大 多 数 Web 服 务 器 类 似 ，Jetty 是 多 线程 的 ， 因 此 要 求 代码 是 线程 安全 的 。 
现在 可 以 用 Lein _ run 启动 该 服务 器 ， 并 通过 curt 命 令 做 一 些 验证 。 比 如 发 送 片段 0: 


$ curl -X put -d "Twas brillig, and the slithy toves" \ 
-H "Content-Type: text/plain" LocaLhost:3000/snippet/0 
OK 


服务 硕 马 上 输出 : 


Twas brillig, and the slithy toves 


如 果 在 发 送 片 段 1 之 前 发 送 片 段 >， 那 么 束 不 会 有 任何 输出 : 


$ curl -X put -d "ALL mimsy were the borogoves," \ 
-H "Content-Type: text/plain" localhost:3000/snippet/2 
OK 


接 春 发 送 片段 1: 


$ curl -X put -d "Did gyre and gimble in the wabe:" \ 
-H "Content-Type: text/plain" localhost:3000/snippet/1 
OK 


现在 片段 1 和 片段 2 都 会 被 输出 : 


Did gyre and gimble in the wabe: 
ALL mimsy were the borogoves, 


多 次 发 送 同 一 个 片段 是 没有 问题 的 ， 因 为 当 promise 对 象 已 经 被 赋值 后 ， 再 次 调用 deliver 
将 不 会 触发 任何 动作 。 所 以 下 面 的 命令 不 会 带 来 任何 问题 ， 也 不 会 有 任何 输出 : 


$ curl -X put -d "Did gyre and gimble in the wabe:" \ 
-H "Content-Type: text/plain" localhost:3000/snippet/1 
OK 


至 此 , 我 们 已 经 学 习 了 如 何 处 理 片 段 ,下面 将 做 一 些 更 有 趣 的 尝试 。 设想 有 为 外 一 个 用 于 翻 


GD https://github.com/weavejester/compojure 
@) http://www.eclipse.org/jetty/ 


译文 本 的 Web 服 务 ， 来 修改 一 下 代码 ， 使 用 新 的 Web 服 务 进行 文本 翻译 。 
句子 


在 学 习 如 何 调用 翻 诺 服 务 之 前 ,要 移 将 片段 的 序列 转换 成 句子 的 序列 。 句 子 的 分 隔 符 可 能 出 
现在 片段 的 任意 位 置 ， 所 以 需要 对 片段 进行 分 割 或 合并 ， 以 解析 出 句子 。 


首先 ， 按 照 句子 的 分 隔 符 进行 分 割 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


(defn sentence-split [text] 
(map trim (re-seq #"[^\.!I\?:;]+[\.!\?:;]*" text))) 


re-seq 接 受 一 个 正则 表达 式 来 匹配 句子 , 并 返回 匹配 的 序列 。 可 以 用 trim 删 除 不 必要 的 空格 : 


server,core=> (sentence-split "This is a sentence. Is this?! A fragment") 
("This is a sentence." "Is this?!" "A fragment") 


接 下 来 ,使 用 一 个 正则 表达 式 的 拉 巧 以 判断 菜 字符 串 是 不 是 一 个 完整 的 句子 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


(defn is-sentence? [text] 
(re-matches #"^.*[\.!\?:;]$" text)) 


server.core=> (is-sentence? "This is a sentence.") 

"This is a Sentence ," 

server.core=> (is-sentence? "A sentence doesn't end with a comma,"') 
nil 


最 后 ， 将 这 些 知识 点 组 装 在 一 起 ,创建 strings->sentences 气 数 。 该 函数 接受 一 个 字符 串 
序列 ， 并 返回 一 个 句子 序列 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


(defn sentence-join [x yj] 
(If (is-sentence? x) y (strx" " y))) 


(defn strings->sentences [strings] 
(filter is-sentence? 
(reductions sentence-join 
(mapcat sentence-split strings)))) 


这 里 用 到 了 reductions 邮 数 。 顾名思义 ，reductions 也 数 与 reduce 类 似 , 唯一 的 区 别 是 它 
不 返回 单一 值 ， 而 是 返回 由 每 一 步 桑 的 中 间 值 构成 的 序列 ， 
server.core=> (reduce + [1 2 3 4]) 
10 


server.core=> (reductions + [1 2 3 4]) 
(1 36 10) 


在 此 使 用 了 sentence-join 作 为 化 简 函 数 。 如 果 第 一 个 参数 是 个 完整 的 句子 , 就 返回 第 二 个 
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参数 ; 和 否则， 就 返回 将 两 个 参数 〈 用 空格 ) 连接 后 的 结 


server,core=> (sentence-join "A complete sentence." "Start of another") 
"Start of another" 

server,core=> (sentence-join "This is" "a sentence.") 

"This is a sentence." 


与 reductions 合 用 时 : 


server.core=> (def fragments ["A" "sentence." "And another.” "Last" "sentence."]) 
#'server.core/fragments 

server.core=> (reductions sentence-join fragments) 

("A" "A sentence." "And another." "Last" "Last sentence.") 


用 is-sentense? 过 滤 结 果 : 


server,core=> (filter is-sentence? (reductions sentence-join fragments ) ) 


("A sentence." "And another." "Last sentence.") 
这 样 就 得 到 了 句子 序列 ， 现 在 可 以 将 其 传 给 负责 翻译 的 服务 硕 了 。 
翻译 句子 


使 用 ture 模 型 的 一 个 典型 场景 是 与 其 他 服务 此 之 间 的 通信 。future 模 型 允许 主线 程 运 行 时 ， 
将 访问 网 络 之 类 的 操作 放 在 另 一 个 线程 上 进行 。 下 面 是 transLate 图 数 ， 其 返回 一 个 future 对 和 象 ， 
对 这 个 future 对 象 求 值 将 获得 困 数 参 效 翻 详 后 的 结 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 
(def translator "http://Llocalhost:3001/translate") 


(defn translate [text] 
(future 
(:body (client/post translator {:body text})))) 


这 段 代码 用 到 了 clj-http 库 "提供 的 函数 client/post， ee OST 请 求 并 获取 返回 。 现 在 可 
以 使 用 transLate 函 数 ， 对 之 前 strings->sentences 的 结果 进行 翻译 ， 其 结果 是 一 个 集合 。 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 


(def translations 
(delay 
(map translate (strings->sentences (map deref snippets))))) 


这 里 用 到 了 了 delay 函数， 其 创建 一 个 懒惰 的 值 一 一 在 被 解 引 用 前 不 会 进行 求 值 。 
组 疡 
下 面 是 文本 翻译 Web 服 务 的 完整 代码 : 


GD https://github.com/dakrone/clj-http 
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FunctionalProgramming/TranscriptHandler2/src/server/core.cljj 
Line1 (def snippets (repeatedly promise) ) 


(def translator "http://Llocalhost:3001/translate") 


5 (defn translate [text] 
(future 
(:body (client/post translator {:body text})))) 


- (def translations 
10 (delay 
(map translate (strings->sentences (map deref snippets))))) 


- (defn accept-snippet [n text] 
(deliver (nth snippets n) text)) 


15 
(defn get-translation [nj] 
@(nth @translations ny) ) 


- (defroutes app-routes 
20 (PUT "/snippet/:n" [n :as {:keys [body]}] 
(accept-snippet (edn/read-string n) (slurp body)) 
(response "OK")) 
(GET "/translation/:n" [nj] 
(response (get-translation (edn/read-string n))))) 
25 
- (defn -main [& args] 
(run-jetty (wrap-charset (api app-routes)) {:port 3000})) 


这 上段 代码 中 添加 了 一 个 GET 入 口 , 用 来 获取 翻译 的 结果 (第 23 行 ), 其 中 使 用 了 get-transla 
tion 滑 数 (第 16 行 )， 用 来 访问 translations 序 列 。 


现在 可 以 运行 一 下 我 们 的 成 果 了 。 首 先 启 动 上 面 创建 的 服务 絮 , 然后 启动 本 书 配套 代码 中 的 
翻译 服务 器 ， 最 后 运行 TranscriptTest 程 序 (同样 也 在 配套 代码 中 )， 现 在 你 应 当 能 看 到 诗歌 
Jabberwocly 被 人 还 句 翻 译 成 法 语 : 

$ lein run 

Il brilgue, les téves lubricilleux Se gyrent en vrillant dans le guave: 

Enmimés sont les gougebosqueux Et le momerade horsgrave. 

Garde-toi du Jaserogque, mon fils! 

La gueule qui mord; la griffe qui prend! 


Garde-toi de L'oiseau Jube, évite Le frumieux Band- a -prend! 


«<...»> 


至 此 我 们 达成 了 目标 一 一 一 个 综合 运用 了 懒惰 性 、future 模 型 、promise 模 型 的 完整 的 并 发 Web 
服务 从 。 其 中 没有 使 用 可 变 状 态 ， 也 没有 使 用 锁 。 比 起 用 命令 式 语言 实现 的 等 价 解 决 方 条 ， 我 们 
的 方案 更 简单 易 读 。 


小 乔 爱 问 : 
Y ”我们 是 否 一 直 持 有 序列 的 头 元 素 ? 


上 面 的 Web 服 务 使 用 了 两 个 懒惰 序列 : snippets 和 transtLations。 程 序 一 直 在 持 有 
这 两 个 序列 的 头 元 素 (参见 3.2 节 中 “懒惰 一 点 好 ”部 分 )， 因 此 这 两 个 序列 将 一 直 增 长 。 
程序 也 将 占用 越 来 越 多 的 内 存 。 


下 一 章 我 们 将 学 习 如 何 用 Clojure 的 引用 类 型 来 解决 这 个 隐患 ， 并 修改 Web 服务 ， 让 其 
可 以 处 理 多 个 文本 的 数据 。 


第 三 天 总 结 
我 们 结束 了 第 三 天 的 学 习 。 这 些 天 讨论 了 如 何 用 函数 式 编 程 高 效 地 实现 并 行 和 并 发 。 
第 三 天 我 们 学 到 了 什么 
呆 数 式 编程 中 的 函数 具有 5 引用 透明 性 。 利 用 这 个 特性 可 以 安全 地 对 函数 的 求 值 顺序 进行 调 
整 ， 而 不 会 影响 到 程序 的 运行 。 值 得 一 提 的 是 ， 利用 这 个 特性 可 以 让 代码 在 其 所 依赖 的 数据 被 准 
备 好 时 才 可 运行 ， 这 也 称 为 数据 流 式 编 程 ( Clojure 提 供 future 模 型 和 promise 模 型 对 其 进行 支持 )。 
我 们 还 通过 一 个 例子 ， 用 数据 流 式 编程 简化 了 Web 上 服务 的 实现 。 
第 三 天 自习 
查找 
口 future 与 future-caLL 有 什么 区 别 ? 如 何 用 其 中 一 个 实现 另 一 个 ? 
口 如 何 鉴 别 一 个 future 对 象 被 求 值 时 是 否 进行 了 阻 寨 ”如何 取 消 一 个 和 ture 对 和 象 ? 
实践 
口 修改 之 前 创建 的 文本 人 处理 服务 器 ， 人 处 理发 往 /translation/:n 的 GET 请 求 时 ， 如 果 和 暂时 还 没有 
翻译 结果 ， 就 不 进行 阻塞 ， 而 是 返回 状态 码 409。 
口 用 命令 式 语 言 实现 文本 处 理 服务 器 。 其 是 否 与 图 数 式 版 本 一 样 简 洁 ? 如何 保 证 它 不 存在 
竞 态 条 件 ? 


3.5 复习 


许多 人 对 并 行 的 理解 存在 一 个 误区 一 一 认为 并 行 一 定 会 伴随 着 不 确定 性 ， 如 末 不 串 行 执行 ， 
那么 我 们 就 不 能 依赖 某 一 种 执行 顺序 的 结 末 ， 必 须 时 刻 警 惕 殴 态 条 件 。 
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当然 , 有 一 些 并 发 程序 一 定 会 带 有 不 确定 性 。 这 对 它们 来 说 是 不 可 避免 的 一 一 有 一 些 场景 
生 就 依赖 于 时 序 。 但 这 并 不 意味 着 所 有 的 并 行程 序 都 有 不 确定 性 。 例 如 ， 对 0 到 10 000 之 间 的 数 
求 和 ， 即 使 将 串 行 加 法 改 为 并 行 加 法 ， 也 不 会 改变 结果 ; 无 论 用 多 少 线程 对 某 个 Wikipedia dump 
进行 词 频 统计 ， 其 结果 总 是 相同 的 。 

在 使 用 线程 与 锁 模 型 的 程序 中 ， 大 多 数 潜藏 的 竞 态 条 件 并 不 是 来 自 于 问题 本 身 的 不 确定 性 ， 
而 是 隐藏 于 解决 方案 的 细 市 中 。 

函数 式 代 人 码 具 有 引用 透明 性 ， 因 此 可 以 随意 改变 其 执行 顺序 ， 而 不 会 对 最 终结 果 产 生 影 响 。 
我 们 可 以 顺理成章 地 让 相互 独立 的 函数 并 行 执行 一 一 本 章 的 例子 也 利用 这 个 特性 轻易 地 将 吗 数 
式 代 码 并 行 化 了 。 


4 小 乔 爱 问 : 
和 为 什么 没 看 到 单子 ( Monad ) 和 么 半 群 ( Monoid ) ? 


通常 介绍 函数 式 编程 时 都 会 对 一 些 数学 概念 进行 并 述 ， 例 如 单子 、 人 么 半 群 、 范 畴 论 
(Category theory) 。 我 们 用 了 一 整 章 来 介绍 函数 式 编程 ， 却 没有 涉及 这 些 概念 。 为 什么 ? 

程序 员 对 编程 语言 的 偏好 很 大 程度 上 取决 于 语言 的 类 型 系统 。 使 用 Java、Scala 之 类 的 
静态 类 型 语言 的 体验 ， 与 使 用 Ruby、Python 之 类 的 动态 类 型 语言 的 体验 是 完全 不 同 的 。 

静态 类 型 语言 强 连 程序 员 在 早期 必须 选择 正确 的 类 型 ,只 有 付出 这 样 的 代价 ,编译 器 才 
能 确保 运行 时 不 发 生 类 型 错误 ， 并 且 类 型 系统 可 以 优化 执行 效率 。 

动态 类 型 语言 不 强迫 程序 员 在 早期 付出 如 此 代价 , 但 程序 员 要 承担 运行 时 发 生 类 型 错误 
或 者 运行 效率 较 低 的 风险 。 

在 肠 数 式 编程 的 范畴 也 同样 存在 这 种 分 战 。 像 Haskell 这 种 静态 类 型 的 函数 式 语言 利用 
单子 和 人 么 半 群 等 数学 概念 为 类 型 系统 增加 了 以 下 能 力 : 明确 限制 了 某 些 吕 数 和 某 些 值 可 以 使 
用 的 位 置 ， 在 保持 函数 性 的 同时 可 以 检测 代码 的 副作用 。 

在 使 用 Clojure 时 ， 学 习 这 些 数学 概念 对 理解 理论 无 疑 非常 有 帮助 ,但 Clojure 使 用 的 不 
是 静态 类 型 系统 ， 因 此 介绍 这 些 数学 概念 的 实用 意义 不 大 。 另 一 方面 ， 由 于 编译 器 不 会 对 相 
关 的 错误 进行 告警 ， 因此 程序 员 必 须 手 工 确认 有 孔 数 和 值 的 使 用 场景 是 正确 的 ,这 无 疑 增 加 了 
程序 员 的 负担 。 


优 操 


使 用 函数 式 编程 最 大 的 好 处 是 我 们 可 以 确信 程序 是 按照 我 们 预想 的 方式 运行 的 。 一 旦 上 和 手 
(这 可 能 需要 花 些 时 间 , 如 果 你 对 命令 式 编程 “中 毒 ” 已 深 则 更 是 如 此 ), 比 起 等 价 的 命令 式 程序 ， 
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胃 数 式 程序 会 更 和 价 单 ， 更 容易 推理 ， 也 更 便于 测试 。 

如 果 我 们 写 了 一 个 函数 式 解 决 方案 , 利用 函数 式 程 序 的 引用 透明 性 , 我 们 可 以 轻松 地 将 程序 
并 行 化 ,或 者 在 一 个 并 发 环境 下 使 用 该 方案 。 由 于 函数 式 代 码 不 使 用 可 变 状态 ,大 部 分 存在 于 线 
程 与 锁 模 型 中 的 并 发 bug 将 销声匿迹 。 


缺点 


很 多 人 认为 函数 式 代 人 码 比 起 等 价 的 命令 式 代 人 码 效 率 较 低 。 对 于 某 些 场景 确实 存在 性 能 损失 ， 
但 大 部 分 场景 性 能 损失 是 远 低 于 预期 的 ,而 且 用 少许 性 能 损失 来 换取 程序 健壮 性 和 扩展 性 的 提升 
是 值得 的 。 


其 他 语言 


近期 ，Java 8 添加 了 一 系列 新 特性 ， 使 用 这 些 特 性 可 以 更 容易 地 写 出 函数 式 代 人 码 ， 其 中 最 有 
名 的 是 lambda 表 达 式 ”和 stream API”。stream API 支 持 聚 合 操作 ， 其 类 似 于 Clojure 的 reducer， 可 以 
并 行 地 处 理 流 。 

所 有 的 函数 式 编程 都 会 介绍 Haskell*。 本 章 和 之 后 的 章节 介绍 的 所 有 技术 在 Haskell 都 可 以 找 
到 。Simon Marlow 的 教程 "是 学 习 Haskell 并 行 编程 和 并 发 编程 的 绝 佳 选择 。 


结语 
本 章 介 绍 了 负数 式 编 程 在 并 发 与 并 行 方 面 的 诸多 优势 , 然而 其 优点 还 远 不 止 于 此 。 可 以 断言 
胃 数 式 编 程 在 未 来 会 变 得 更 重要 。 


前 面 已 经 提 到 过 ， 在 可 预见 的 将 来 ， 可 变 状态 会 一 直 伴 随 在 我 们 左右 。 下 一 章 我 们 将 学 习 
Clojure 如 何 处 理 函 数 的 副作用 ， 同 时 又 不 牺牲 对 并 发 的 支持 。 


GD http://docs.oracle.com/javase/tutorial/java/javaOO/lambdaexpressions.html 
@) http://docs.oracle.com/javase/tutorial/collections/streams/index.html 

(3) http://haskell.org/ 

(4) http://community.haskell.org/~simonmar/par-tutorial.pdf 


Clojure 之 道 一 一 
分 离 标 识 与 状态 


现代 的 混合 动力 客车 同时 拥有 内 燃 机 和 电动 机 的 优点 。 根 据 环境 不 同 ， 有 时 只 使 用 汽油 ， 有 
时 只 使 用 电力 ， 有 时 则 同时 使 用 两 者 。 与 之 类 似 ，Clojure 也 提供 了 一 种 方法 ,混合 了 函数 式 编程 
和 可 变 状态 一 一 这 种 方法 平衡 了 两 者 优 和 点， 成 为 并 发 编程 的 利 带 。 


4.1 混搭 的 力量 


胃 数 式 编程 对 于 茶 些 问题 是 非常 适用 的 , 但 对 于 某 些 状态 易 变 的 问题 则 不 然 。 虽然 函 数 式 编 
程 可 以 用 来 解决 这 类 问题 , 但 用 传统 的 思路 处 理会 更 加 容易 一 些 。 上 一 章 中 介绍 了 Clojure 的 纯 也 
数 子 集 ， 而 本 革 中 我 们 将 偏离 之 前 的 内 容 ， 学 习 如 何 用 Clojure 提 供 的 混搭 技术 来 解决 这 类 问题 。 


第 一 天 ,我 们 将 讨论 原子 变量 , 它 是 Clojure 提 贷 的 用 于 并 发 的 可 变数 据 类 型 。 我 们 也 将 学 习 
如 何 使 用 原子 变量 和 持久 数据 结构 来 分 离 标识 与 状态 。 第 二 天 ,学习 Clojure 的 其 他 可 变数 据 结构 : 
代理 和 软件 事务 内 存 。 第 三 天 , 将 分 别 用 原子 变量 和 STM 实现 一 个 算法 ,并 讨论 两 种 解决 方案 的 
利 浆 。 


4.2 第 一 天 : 原子 变量 与 持久 数据 结构 


纯粹 的 函数 式 语言 完全 不 支持 可 变量 "”。 相 比 之 下 ，Clojure 是 不 纯粹 的 一 一 其 为 不 同 的 并 发 
场景 提供 了 大 量 的 多 样 的 可 变量 。 通 过 使 用 可 变量 和 持久 数据 结构 ( 我们 稍 后 会 解释 持久 的 意 
思 )， 可 以 避 开 传统 并 发 程序 中 共享 可 变 状态 市 来 的 诸多 问题 。 


中 在 此 将 mutable variables/data 译 为 “可 变量 ”， 意 为 这 些 “ 量 ”在 整个 生命 周期 中 其 值 是 可 能 改变 的 。 在 数学 领域 
中 ， 应 称 其 为 “变量 ”。 但 “变量 ”一 词 在 编程 领域 中 指 的 是 “编译 期 结束 后 其 值 可 能 改变 的 量 ”， 与 数学 领域 中 
“整个 生命 周期 中 其 值 是 可 能 改变 的 量 ” 有 少许 差异 , 为 避免 混 消 , 将 其 译 为 “可 变量 ”。 同样 的 差异 也 存在 于 “党 
量 ”( 编译 期 就 能 确定 其 值 不 改变 的 量 ) 和 “不 变量 ”( 整个 生命 周期 中 其 值 不 改变 的 量 )。 另 外 ， 在 此 将 variable 
和 data 统 称 为 “ 量 ”， 是 为 了 人 简化 相关 的 概念 ， 不 会 影响 之 后 的 阅读 。 译 者 注 
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在 此 要 特别 强调 不 纯粹 的 子 数 式 语言 与 命令 式 语言 的 区 别 。 在 命令 式 语言 中 ,变量 默认 都 是 
状态 易 变 的 ， 代 码 会 经 党 修改 变量 。 而 在 不 纯粹 的 函数 式 语言 中 ， 变 量 默认 是 状态 不 易 变 的 , 代 
码 仅 在 十 分 必要 时 才 修 改变 量 。 稍 后 我 们 会 学 习 到 : 使 用 Clojure 的 可 变量 ,可 以 在 保证 安全 性 和 
数据 一 致 性 的 同时 ， 人 处 理 好 可 变 状态 市 来 的 副作用 。 

今天 我 们 要 学 习 如 何 使 用 可 变量 和 持久 数据 结构 来 分 离 标 识 与 状态 。 采 用 这 些 技 术 , 多 线程 
可 以 不 使 用 锁 〈 当然 也 就 不 会 有 死 锁 的 风险 ) 访问 可 变量 ， 同 时 也 不 会 碰 到 3.2 市 中 介绍 的 风险 
(隐藏 可 变 状态 和 逃逸 可 变 状态 )。 先 来 看 看 Clojure 提 供 的 最 简单 的 可 变量 类 型 一 一 原子 变量 。 


wl 


原子 变 


原子 变量 就 是 具有 原子 性 的 变量 ,非常 类 似 于 2.3 市 中 介绍 的 原子 变量 (事实 上 Clojure 的 原 
子 变 量 就 是 在 java.util.concurrent.atomic 的 基础 上 建立 的 ), 下 面 的 例子 用 于 创建 原子 变量 
并 获取 其 值 : 

user=> (def my-atom (atom 42)) 

#'USer/my-atom 

user=> (deref my-atom) 

42 

user=> @my-atom 

42 

使 用 atom 消 数 可 以 创建 原子 变量 ， 其 参数 是 原子 变量 的 初始 值 。 通 过 defer 或 @ 可 以 获得 原 
子 变量 的 值 。 


使 用 swap! 可 以 更 新 原子 变量 的 值 : 

user=> (swap! my-atom inc) 

43 

user=> @my-atom 

43 

swap! 接 受 一 个 函数 ， 并 将 原子 变量 的 当前 值 传 给 该 函数 ， 该 函数 的 返回 值 将 作为 原子 变量 
的 新 值 。 也 可 以 将 额外 的 参数 传 给 函数 ， 例 如 : 

user=> (swap! my-atom + 2) 

45 

传 给 函数 的 第 一 个 参数 是 原子 变量 的 当前 值 , 如 果 swap! 有 额外 参数 , 则 会 依次 传 给 该 限 数 。 
本 例 中 ， 原 子 变量 的 新 值 是 (+ 43 2)。 


一 个 不 太 和 常用 的 函数 是 reset!， 可 以 用 来 重 置 原子 变量 的 值 ， 无 论 原 了 于 变量 是 什么 


USer=> (reset! my-atom 0) 
0 

user=> @my-atom 

0 
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原子 变量 可 以 是 任何 类 型 一 一 很 多 Web 应 用 都 是 用 原子 map 来 存储 会 话 数据 的 ， 例 如 : 


user=> (def session (atom {})) 
#'USer/session 


user=> (swap! session assoc :username "paul") 
{:username "paul"} 


user=> (swap! session assoc :session-id 1234) 
{:session-id 1234, :username "paul"} 


我 们 已 经 通过 REPLT 了 解 了 原子 变量 的 一 些 特性 ， 现 在 来 看 一 个 实际 应 用 的 例子 。 


具有 可 变 状态 的 多 线程 Web 服 务 


3.2 节 讨论 了 一 个 假想 的 用 于 管理 比赛 的 Web 服 务 。 这 一 节 我 们 会 完整 实现 这 个 Web 服 务 ， 并 
学 习 如 何 使 用 Clojure 的 持久 数据 结构 来 避免 Java 中 和 逃 和 状态 的 风险 。 


Clojure/TournamentServer/src/server/core.cl) 


Line1 (def players (atom ())) 4 


(defn list-players [] 


(response (json/encode @players))) 
5 


- (defn create-player [player-namel] 
(swap! players conj player-name) 
(status (response "") 201)) 


10 (defroutes app-routes 
(GET "/players" [] (list-players)) 


(PUT "/players/:player-name" [player-name] (create-player player-name))) 
- (defn -main [& args] 


(run-jetty (site app-routes) {:port 3000})) 

这 段 代码 定 义 了 两 个 路 由 一 一 发 往 /players 的 GET 请 求 会 返回 当前 的 运动 员 列 表 (JSON 格 
式 )， 发 往 /players/name 的 PUT 请 求 则 会 添加 一 个 运动 员 。 与 上 一 章 的 Web 服 务 一 样 ， 由 于 使 
用 的 Jetty 服 务 需 是 多 线程 的 ， 因 此 需要 保证 代码 是 线程 安全 的 。 


在 讨论 这 段 代 码 的 工作 原理 之 前 ， 先 来 直接 感受 一 下 。 可 以 在 命令 行 中 调用 curtL 进 行 测 试 : 


$ curl localhost:3000/players 
[] 


$ curl -X put LocaLhost:3000/pLayers/john 
$ curl LocaLhost:3000/pLayers 
["john"] 


$ curl -X put localhost:3000/players/paul 

$ curl -X put localhost:3000/players/george 
$ curl -X put LocaLhost:3000/pLayers/ringo 
$ curl localhost:3000/players 
["ringo","george","paul","john"] 


现在 来 看 看 core.clj 的 工作 原理 。 原子 变量 players (第 1 行 ) 被 初始 化 成 空 列 表 () 。 通 过 conj 
可 以 添加 新 的 运动 员 ( 第 7 行 ), 并 返回 HTTP 状 态 201( 表示 已 创建 ) 的 空 响应 ,通过 @ 获 取 players 
的 值 ， 并 以 JSON 形 式 返 回 运 动员 列表 (第 4 行 )。 

一 切 看 上 去 很 简单 (实际 上 也 确实 如 此 )， 但 有 一 件 事 情 困 扰 看 我 们 。List-pLayers 和 
create-pLayer 困 数 都 访问 ptayers 一 一 为 什么 这 段 代 码 不 会 有 之 前 逃逸 可 变 状态 的 问题 ?如 
果 一 个 线程 正在 遍历 pLayers 并 将 其 转换 为 JION 格 式 ， 而 另 一 个 线程 同时 向 pLayers 中 添加 元 
素 ， 那 么 会 发 生 什 么 ? 

Clojure 的 数据 结构 是 持久 的 ， 因 此 这 段 代 码 才 是 线程 安全 的 。 


持久 数据 结构 


我 们 这 里 说 的 “持久 ”并 不 是 指 将 数据 持久 化 到 磁盘 或 者 保存 到 数据 库 中 ， 而 是 指数 据 结 构 
被 修改 时 总 是 保留 其 之 前 的 厂 本 ， 这 样 可 以 为 代码 提供 一 致 的 数据 和 视角。 来 用 REPL 看 一 个 简单 
的 例子 : 

user=> (def mapvl {:name "paul" :age 45}) 

#'USer/mapv1 

user=> (def mapv2 (assoc mapvl1 :Sex :male)) 

#'USer/mapv2 

user=> mapv1 

{:age 45, :name "paul"} 

user=> mapv2 

{:age 45, :name "paul", :sex :male} 


持久 数据 结构 被 修改 时 看 上 去 就 像 创建 了 一 个 完整 的 副本 。 如 果 持 久 数 据 结构 在 实现 时 也 创 
建 完 整 副 本 ， 那 将 非常 低 效 并 且 使 用 限制 很 大 (可 以 类 比 2.4 节 介绍 过 的 Copy0nwriteArray 
List )。 竺 运 的 是 ， 持 久 数据 结构 的 实现 选择 了 更 精巧 的 方法 ， 其 中 使 用 了 共享 结构 。 

最 容易 理解 的 持久 数据 结构 就 是 列表 。 来 看 一 个 简单 的 例子 : 


user=> (def Listv1l (List 1 2 3)) 
#'USer/listvl 

user=> Listv1 

(1 2 3) 


图 4-1 展 示 了 上 述 列表 在 内 存 中 的 表现 形式 。 


加 下 四 下 加 


| -一 |) 


图 4-1 Listv1 在 内 存 中 的 表现 形式 
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现在 用 cons 创 建 上 述 列 表 的 修改 版 ,， cons 返 回 列表 的 副本 并 在 副本 的 首 段 上 添加 一 个 元 系 : 


user=> (def listv2 (cons 4 listv1)) 
#'UsSer/listv2 

user=> listv2 

(4 1 2 3) 


新 列表 可 以 完全 共 圣 原 列表 的 结构 一 一 不 知 要 进行 复制 ， 如 图 4-2 所 示 。 


图 4-2 ”listv2 在 内 存 中 的 表现 形式 
再 尝试 创建 男 一 个 改进 版 ， 如 图 4-3 所 示 。 


user=> (def Listv3 (cons 5 (rest listv1))) 
#'USer/listv3 

user=> listv3 

(5 2 3) 


-| < 
Eo ey 
| | | | | | 
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图 4-3 Listv3 在 内 存 中 的 表现 形式 
本 例 中 新 列表 仅 共 享 了 原 列 表 的 部 分 结构 ， 但 仍 不 需要 进行 复制 。 


有 些 情 况 下 是 不 能 避免 复制 的 。 有 共同 尾 问 的 列表 可 以 共享 结构 
的 尾 顺 ， 就 只 能 进行 复制 了 上。 人 举例 说 明 : 


user=> (def Listv1l (List 1 2 3 4)) 
#' USser/Listv1l 

user=> (def listv2 (take 2 listv1)) 
#'USer/listv2 

user=> listv2 

(1 2) 


如 来 两 个 列表 具有 不 同 
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图 4-4 展 示 了 其 在 内 存 中 的 形式 。 


人 TV } 
图 4-4 ”具有 不 同 尾 问 的 两 个 列表 在 内 存 中 的 表现 形式 


Clojure 的 集合 都 是 持久 的 。 持 久 的 Vector、map 和 set 在 实现 上 都 比 列 表 和 复杂， 但 此 人 处 我 们 仪 
和 需 知 道 它们 都 使 用 了 共享 结构 ， 并 且 与 Ruby 和 Java 中 对 应 的 非 持 久 结构 具有 相近 的 性 能 。 


WW 小 乔 爱 问 : 
过 ” 非 函 数 式 语言 中 数据 结构 可 以 是 持久 的 吗 ? 


A 
在 非 函数 式 语 言 中 是 有 可 能 创建 持久 数据 结构 的 。 我 们 已 经 在 Java 中 看 到 过 一 个 例子 
(CopyOnWriteArrayList), 而 且 Clojure 的 核心 数据 结构 大 部 分 都 是 由 Java 写成 的 ,而 Java 
被 创造 出 来 时 还 不 存在 Clojure， 所 以 我 们 说 非 涵 数 式 语言 是 有 可 能 创建 持久 数据 结构 的 。 
话 虽 如 此 , 用 非 涵 数 式 语言 实现 持久 数据 结构 是 比较 困难 的 一 一 很 难保 证 其 正确 性 和 效 
座 一 一 主要 是 因为 此 类 编程 语言 不 能 为 你 提供 任何 辅助 ， 完 全 要 依靠 自己 实现 持久 化 。 


相 比 之 下 ， 函 数 式 的 数据 结构 天 生 就 是 持久 的 。 


标识 与 状态 

如 果 一 个 线程 引用 了 持久 数据 结构 ， 那 么 其 他 线程 对 数据 结构 的 修改 对 该 线程 就 是 不 可 见 
的 。 因 此 持久 数据 结构 对 并 发 编程 的 意义 非 比 寻 常 ， 其 分 离 了 标识 (identity ) 与 状态 ( state )。 

你 的 汽车 有 多 少 油 ”现在 这 一 刻 可 能 有 一 半 油 。 一 段 时 间 以 后 油箱 可 能 几乎 空 了 ,再 过 几 分 
钟 〈 当 你 加 完 油 后 ) 油箱 就 满 了 。“ 你 的 汽车 有 多 少 油 ”是 一 个 标识 ， 其 状态 是 一 直 在 改变 的 ， 
也 就 是 说 ,实际 上 它 是 一 系列 不 同 的 值 一 一 2012-02-23 12:03， 值 是 0.33; 2012-02-23 14:30， 值 是 
0.12;， 2012-02-23 14:31， 值 是 1.00。 

命令 式 语 言 中 , 一 个 变量 混合 了 标识 与 状态 一 一 一 个 标识 只 能 拥有 一 个 值 , 这 让 我 们 很 容易 


忽略 一 个 事实 : 状态 实际 上 是 随时 间 变 化 的 一 系列 值 。 持久 数 据 结 构 将 标识 与 状态 分 离开 来 一 一 
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如 果 获 取 了 一 个 标识 的 当前 状态 ， 无 论 将 来 对 这 个 标识 怎样 修改 ， 获 取 的 那个 状态 将 不 再 改变 。 
赫 拉 克利 特 ( Heraclitus ) 是 这 样 描 述 这 个 现象 的 : 


DUDOUDUODODO0UUOUUUUUUU0UNUUUUD 
许多 编程 语言 部 错误 地 认为 河流 是 不 变 的 实体 ; 而 Clojure 则 认为 河流 是 一 下 在 改变 的 。 


重 试 

由 于 Clojure 是 函数 式 语言 ， 其 原子 变量 是 无 锁 的 一 一 其 内 部 实现 使 用 了 java.util.concu- 
rrent .AtomicReference 包 提供 的 compareAndSet () 方 法 。 因 此 使 用 原子 变量 的 效率 很 高 且 不 
会 发 生 阻塞 ( 当然 也 不 会 有 死 锁 的 风险 )。 但 这 也 要 求 swap! 必 须 处 理 下 面 这 种 情况 : 当 swap! 调 
用 其 参数 孔 数 ( 即 由 参数 传人 的 函数 ) 产生 新 值 、 但 还 未 修改 原子 变量 的 值 时 ， 其 他 线程 就 修改 
了 原子 变量 的 但 。 


如 果 发 生 了 这 种 情况 ，swap! 就 需要 重 试 (retry )。swap! 将 放弃 从 参数 函数 中 返回 的 值 ， 并 
用 原子 变量 的 新 值 重 新 调用 参数 孔 数 。 我 们 在 2.4 节 中 介绍 ConcurrentHashMap 时 见 过 类 似 的 机 
制 。 这 要 求 swap! 的 参数 浮 数 必须 没有 副作用 一 一 否则 ， 在 重 试 时 这 些 副 作用 可 能 会 发 生 多 次 。 


押运 的 是 ， 录 数 式 代码 天 生 是 没有 副作用 的 。Clojure 的 函数 式 天 性 让 我 们 避免 了 这 个 麻烦 。 


假设 我 们 需要 一 个 非 负 值 的 原子 变量 。 在 创建 原子 变量 时 可 以 提供 一 个 校 验 器 ( validator ) : 


user=> (def non-negative (atom 0 :validator #(>= % 0) )) 
#'USer/non-negative 

user=> (reset! non-negative 42) 

42 

user=> (reset! non-negative -1) 

IllegalStateException Invalid reference state 


校 验 胡 是 一 个 函数 ， 当 改变 原子 变量 的 值 时 就 会 调用 它 。 如 末 校 验 带 返回 true, 束 允 许 这 次 
修改 ， 否 则 就 放 莽 这 次 修改 。 

校 验 希 在 原子 变量 的 值 改 变 生 效 之 前 被 调用 。 与 本 他“ 重 试 ”部 分 中 传 给 swap ! 的 参数 函数 
类 似 ， 当 swap1 进 行 重 试 时 ， 校 验 表 可 能 会 被 调用 多 次 。 因 此 校 验 带 不 应 有 副作用 。 


监视 器 
可 以 为 原子 变量 浴 加 一 个 监视 名 : 


USer=> (def a (atom 0)) 
#'USer/a 
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user=> (add-watch a :print #(println "Changed from " %3 " to " %4)) 
#<Atom@542ab4b1:; 0> 

user=> (swap! a + 2) 

Changed from 0 to 2 

2 


深 加 监 视 侣 时 知 要 提供 一 个 键 值 和 一 个 监视 函数 。 键 值 用 于 区 分 不 同 的 监视 带 ( 例如， 有 多 
个 监视 癌 时 ， 可 以 通过 键 值 来 删除 一 个 指定 的 监视 带 )。 原 子 变量 的 值 被 改变 时 会 调用 监视 带 。 
监视 涡 接 受 四 个 参数 一 一 调用 add-watch 时 指定 的 键 值 、 原 于 变量 的 引用 、 原 于 变量 的 旧 值 和 原 
子 变 量 的 新 值 。 


上 例 中 再 次 使 用 了 读 取 人 带 宏 #(... ) 来 定义 匿名 晴 数 ,该 函数 用 于 打印 原子 变量 的 旧 值 ( %3 ) 
和 新 值 ( %4 )。 

与 校 验 角 不 同 ， 监 视 肯 是 在 原子 变量 的 值 改变 之 后 才 锌 调用 ， 且 无 论 swap! 重 试 多 少 次 ,， 监 
视 般 只 会 被 调用 一 次 。 因 此 ， 监 视 秀 可 以 具有 副作用 。 注 意 : 监视 省 被 调用 时 ， 原 子 变 量 的 值 可 
能 已 经 再 次 被 改变 , 因此 监视 融 必 须 使 用 参数 中 提供 的 新 值 ， 而 不 能 通过 对 原子 变量 进行 解 引用 
来 获取 新 值 。 


混搭 式 Web 服 务 

在 3.4 节 中 ,我 们 用 Clojure 创 建 了 纯粹 隐 数 式 的 Web 服 务 。 尺 管 它 运 行 良 好 ， 却 存在 两 个 明显 
的 限制 一 一 仪 能 处 理 一 个 文本 数据 , 并 且 会 持续 消耗 内 存 。 在 此 我 们 会 在 保留 原版 本 的 晒 数 式 特 
性 的 同时 ， 突 破 这 两 个 限制 。 

会 话 管理 

我 们 将 引入 会 话 (session ) 这 个 概念 ， 使 Web 服 务 支 持 多 个 文本 数据 。 每 个 会 话 拥 有 一 个 唯 
一 的 数字 标识 ， 通 过 下 面 的 代码 可 生成 这 个 标识 : 


Clojure/TranscriptHandler/src/server/session.cl) 


(def last-session-id (atom 0)) 
(defn next-session-id [] 
(swap! last-session-id inc)) 


这 里 会 用 到 原子 变量 Last-session-id, 创建 新 会 话 标识 时 会 将 原子 变量 的 值 递 增 。 每 次 调 
用 next-session-id 都 会 得 到 比 之 前 大 1 的 一 个 值 : 


server.core=> (in-ns 'server.session) 
#<Namespace server,.session> 
server.session=> (next-session-id) 

1 

server.session=> (next-session-id) 

2 

server.session=> (next-session-id) 

3 
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还 用 到 了 原子 变量 sessions， 它 是 将 会 话 标识 映射 到 会 话 的 map， 利 用 sessions 可 以 追踪 
当前 活跃 的 会 话 。 


(def sessions (atom {})) 


(defn new-session [initiall] 
(Let [session-id (next-session-id)] 
(swap! sessions assoc session-id initial) 
session-id)) 


(defn get-session [id] 
(Gsessions id)) 


通过 调用 new-session 并 传人 一 个 初始 值 ， 可 以 创建 一 个 新 的 会 话 。new- session 将 获取 一 
个 新 的 会 话 标识 , 并 调用 swap ! 将 会 话 添加 到 sessions 中 。 用 get-session 获 取 会话 的 过 程 就 是 
人 简单 地 用 会 话 标 识 进 行 查找 。 


会 十 过 期 


如 果 要 解决 Web 服 务 持 续 消 耗 内 存 的 问题 ， 就 需要 一 种 机 制 来 删除 不 再 使 用 的 会 话 。 虽 然 可 
以 显 式 地 进行 删除 (比如 使 用 一 个 deLete-session 函 数 )， 但 对 于 一 个 Web 服 务 来 说 ， 不 能 依赖 
于 客户 端 清理 各 目的 会 话 ， 而 是 需要 实现 会 话 过 期 的 机 制 。 先 对 之 前 的 代码 做 一 个 小 改动 : 


Clojure/TranscriptHandler/src/server/session.cjj 
(def sessions (atom {})) 


> (defn now [] 
> (System/currentTimeMillis)) 


(defn new-session [initiall] 
(Let [session-id (next-session-id) 
> session (assoc initial :last-referenced (atom (now)))] 
(swap! sessions assoc session-id session) 
session-id)) 


(defn get-session [id] 
(Let [session (@sessions id)] 
> (reset! (:last-referenced session) (now)) 
session)) 


新 的 辅助 函数 now 会 返回 当前 时 间 。 用 new-session 创 建新 会 话 时 ， 需 要 为 会 话 添 加 新 属 
性 :Last-referenced， 这 是 含有 当前 时 间 的 原子 变量 。 当 调用 get-session 访 问 会 话 时 ， 用 
reset! 来 更 新 这 个 时 间 玲 。 


现在 每 个 会 话 都 有 :Last- referenced 必 性。 程序 会 定期 检查 所 有 的 会 话 ， 当 某 会 话 超过 
定时 间 没 有 被 访问 时 ， 就 可 以 让 该 会 话 过 期 : 


Clojure/TranscriptHandler/src/server/session.cjj 


(defn session-expiry-time [{] 
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(- (now) (* 10 60 1000))) 
(defn expired? [session] 
(< @(:last-referenced session) (session-expiry-time))) 


(defn sweep-sessions [|] 
(swap! sessions #(remove-vals % expired?))) 
(def session-sweeper 
(schedule {:min (range 0 60 5)} sweep-sessions)) 


在 session-sweeper 孔 数 中 ,使 用 了 Schejulure 库 了”， 这 段 代 码 让 程序 每 5 分 钟 调用 一 次 
Deeps pn sweep-sessions 会 (使 用 Useful 库 ”提供 的 remove-vatLs 函 数 ) 有 删除 expired? 
为 true 的 会 话 ， 这 些 会 话 最 后 一 次 被 访问 是 在 session-expiry-time 毫 秒 ( 即 10 分 钟 ) 之 前 。 


组 闻 
现在 可 以 将 会 话 这 个 功能 添加 到 之 前 的 Web 服 务 中 。 首 先 ， 需 要 一 个 创建 新 会 话 的 函数 : 


Clojure/TranscriptHandler/src/server/core.clj 


(defn create-session [|] 
(let [snippets (repeatedly promise) 
translations (delay (map translate 


(strings->sentences (map deref snippets))))] 
(new-session {:snippets snippets :translations translations}))) 


与 上 一 章 相 似 ， 我 们 仍然 使 用 一 个 无 穷 ne (snippets ) 来 表示 接收 到 的 
片段 ， 以 及 一 个 map (transtLations ) 来 表示 该 序列 到 翻译 结果 的 映射 但 这 次 将 两 个 变量 都 
保存 到 了 会 话 中 。 


接 下 来 ， 修 改 accept-snippet 和 get-transtLation 函 数 ， 使 其 从 会 话 中 得 到 :snippets 
和 :transLations: 


Clojure/TranscriptHandler/src/server/core.cj 


(defn accept-snippet [session n text] 
(deliver (nth (:snippets session) n) text)) 


(defn get-translation [session n] 
@(nth @(:translations session) n)) 


最 后 ， 需 要 为 路 由 诱 加 会 话 功能 


Clojure/TranscriptHandler/src/server/core.cj 


(defroutes app-routes 
(POST "/session/create" [] 
(response (str (create-session)))) 


(QD) https://github.com/AdamClements/schejulure 
@) https://github.cony/flatland/useful 
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(context "/session/:session-id" [session-id] 
(Let [session (get-session (edn/read-string session-id))] 
(routes 
(PUT "/snippet/:n" [n :as {:keys [body]}] 
(accept-snippet session (edn/read-string n) (slurp body)) 
(response "OK")) 


(GET "/translation/:n" [nj] 
(response (get-translation session (edn/read-string n)))))),)) 


至 此 ,已 经 得 到 了 新 的 Web 服 务 ， 其 主体 仍 是 函数 式 的 ， 并 且说 层 地 使 用 了 可 变 状 态 。 


第 一 天 总 结 
我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 学 习 另 一 些 可 变数 据 类 型 一 一 代理 ( agent ) 和 引用 (ref )。 
第 一 天 我 们 学 到 了 什么 
Clojure 是 一 门 不 纯粹 的 函数 式 语言 ,提供 了 大 量 的 可 变数 据 类 型 。 我 们 已 经 学 习 了 其 中 最 简 
单 的 一 种 一 一 原子 变量 。 
口 命令 式 语言 和 不 纯粹 的 消 数 式 语言 的 区 别 是 今天 的 一 个 重点 。 
四 命令 式 语言 中 ， 变 量 上 默认 是 状态 易 变 的 ， 代 码 会 经 常 修改 变量 。 
四 不 纯粹 的 因数 式 语 言 中 ， 变 量 默认 是 状态 不 易 变 的 ， 代 人 码 仅 在 必要 时 修改 变量 。 
口 图 数 式 场 言 中 ， 数 据 结 构 是 持久 的 ， 也 束 是 说 当 一 个 线程 修改 它 时 ， 将 不 会 影响 到 引用 
同一 个 数据 结构 的 其 他 线程 。 
口 便 助 上 述 特性 ， 我 们 可 以 分 离 标 识 与 状态 。 与 标识 不 同 ， 状 态 实际 上 是 一 系列 随时 间 变 
化 的 值 。 
第 一 天 自习 
查找 


口 阅读 Karl Krukow 的 博文 “Understanding Clojure’s PersistentVector Implementation”， 了 人 解 
比 链表 更 复 森 的 持久 数据 结构 是 如 何 实现 的 。 
口 阅 该 上 一 篇 博文 的 后 续 文 章 ， 了 解 PersistentHashMap 是 如 何 通 过 Hash Array Mapped 
Trie 技 术 来 实现 的 O 
实践 
口 扩展 本 节 开 头 的 例子 TournamentServer， 使 其 可 以 添加 和 删除 运动 员 。 
七 


口 扩展 “混搭 式 Web 服 务 ” 中 的 例子 TranscriptServer， 当 一 个 片段 花费 10 余 秒 仍 未 接收 
完 时 ， 让 服务 融 能 从 这 个 状态 中 恢复 过 来 。 


分 离 标识 与 状态 
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我 们 昨天 学 习 了 原子 变量 , 今天 来 学 习 其 他 两 种 可 变数 据 类 型 : 代理 ( agent ) 和 引用 (ref )。 
与 原子 变量 性 质 相 同 ,代理 和 引用 都 可 以 用 于 并 发 ， 也 能 与 持久 数据 结构 一 起 使 用 ,实现 标识 与 
状态 的 分 离 。 在 学 习 引 用 时 , 我 们 将 讨论 Clojure 如 何 实现 对 软件 事务 内 存 的 文 持 ,， 使 变量 在 无 锁 
的 情况 下 可 以 被 并 行 地 修改 ， 同 时 仍 保持 一 致 性 。 


代理 
与 原子 变量 类 似 ， 代 理 包含 了 对 一 个 值 的 引用 ， 可 以 通过 deref 或 @ 获 取 该 值 : 


user=> (def my-agent (agent 0)) 
#'UsSer/my-agent 

USer=> @my-agent 

0 


调用 send 消 数 可 以 修改 代理 的 值 : 


user=> (send my-agent inc) 
#<Agent@2cadd45e: 1> 
USer=> @my-agent 

1 

user=> (send my-agent + 2) 
#<Agent@2cadd45e: 1> 
USer=> @my-agent 

3 


与 swap! 类 似 ，send 接 受 一 个 函数 (可 以 附加 额外 的 参数 )， 并 用 代理 的 当前 值 作为 参数 对 
该 函数 进行 调用 ， 函 数 的 返回 值 将 作为 代理 的 新 值 。 

send 与 swap! 的 区 别 是 ,前 者 会 (在 代理 的 值 更 新 之 前 ) 立刻 返回 一 一 传 给 send 的 函数 将 在 
之 后 的 某 个 时 间 被 调用 。 如 果 多 个 线程 同时 调用 send， 传 给 send 的 函数 将 被 品行 调用 : 同一 时 
间 只 会 调用 一 个 。 也 就 是 说 该 函数 不 会 进行 重 坛 ， 并 且 可 以 具有 副作用 。 
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1// 小 乔 爱 间 ， 


~ 


局 代理 是 actor 吗 ? 


表面 看 上 去 Clojure 的 代理 和 actor (将 在 第 5 章 介 绍 ) 非常 相似 。 但 这 是 一 种 误解 ， 实 
际 上 两 者 有 很 大 差异 : 
口 通过 deref 可 以 获得 代理 的 值 ， 而 actor 没 有 提供 直接 获得 值 的 方式 ; 
口 actor 可 以 包含 行为 (behavior )， 而 代理 则 不 可 以 一 一 对 数据 的 操作 函数 必须 由 调用 者 提供 ; 
D actor 提 供 了 复杂 的 错误 检测 和 错误 恢复 的 机 制 ， 而 代理 仅 提 供 了 简单 的 错误 报告 机 制 ; 
口 actor 能 支持 分 布 式 ， 而 代理 则 不 能 ; 
口 使 用 多 个 actor 可 能 会 引发 死 锁 ， 而 使 用 多 个 代理 则 不 会 。 
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等 待 代理 的 操作 完成 


之 前 我 们 在 REPL 的 输出 中 看 到 ，send 的 返回 值 是 一 个 代理 的 引用 。REPL 打 印 这 个 引用 时 ， 
也 打印 了 代理 的 值 一 一 本 例 中 是 1: 


user=> (send my-agent inc) 
#<Agent@2cadd45e: 1> 


再 次 调用 send 时 ， 其 显示 的 不 是 3， 而 仍然 是 1: 


user=> (send my-agent + 2) 
#<Agent@2cadd45e: 1> 


这 是 因为 传 给 send 的 函数 是 异步 运行 的 , 在 REPL 获 得 代理 的 值 之 前 , 该 函数 可 能 已 经 运行 ， 
也 可 能 没有 运行 。 对 于 执行 比较 快 的 函数 ， 在 REPL 获 得 代理 的 值 之 前 可 能 已 经 运行 了 ; 但 如 采 
我 们 用 Thread/stLeep 来 延长 郴 数 的 运行 时 间 , 那 函 数 束 不 大 可 能 在 REPL 获 取代 理 的 值 之 前 完成 


运行 : 


user=> (def my-agent (agent 0)) 

#'UsSer/my-agent 

user=> (send my-agent #((Thread/sleep 2000) (inc %))) 
#<Agent@224e59d9: 0> 

USer=> @my-agent 

0 

USer=> @my-agent 

1 


Clojure 提 供 了 await 冰 数 ， 这 个 函数 将 一 直 阻 蹇 ， 直 到 由 当前 线程 派 给 某 个 〈 或 杂 些 ) 代理 
的 所 有 操作 全 部 完成 〈Clojure 还 提供 了 await - for 函数 ， 可 以 指定 等 待 的 超时 时 间 ): 


user=> (def my-agent (agent 0) ) 

#'UsSer/my-agent 

user=> (send my-agent #((Thread/sleep 2000) (inc %))) 
#<Agent@7f5ff9d0: 0> 

user=> (await my-agent) 

nil 

USer=> @my-agent 

1 


a 


/ 小 乔 爱 问 : 


Pa 


寺 Send-0ff 和 Send-Via 


2 


除了 send， 代 理 还 支持 sSend-off 和 send-via 有 函数。 不 同 的 是 如 何 执行 传 入 的 函数 ， 
send 使 用 公用 线程 池 ,Ssend-off 使 用 一 个 新 线程 ,而 Send-via 使 用 由 参数 指定 的 executor。 


如 果 传 入 的 函数 可 能 会 阻塞 (并 占用 其 执行 线程 ) 或 需要 执行 很 久 , 推荐 使 用 send-off 
或 Send-Vvia。 除 此 之 外 ， 三 个 函数 差别 不 大 。 
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异步 更 新 比 同步 更 新 有 着 明 显 的 优势 , 尤其 是 当 更 新 操作 会 发 生 阻 塞 或 需要 执行 很 人 时 。 但 
异步 更 新 也 更 复杂 ， 尤 其 在 错误 处 理 方 面 。 下 面 来 看 看 Clojure 对 错误 处 理 方面 的 文 持 。 


首 误 处 理 


代理 与 原子 变量 一 样 都 文 持 校 验 希 和 监视 融 。 下 面 的 例子 中 , 代理 使 用 了 一 个 校 验 融 来 确保 
其 值 不 为 负数 : 


user=> (def non-negative (agent 1 :validator (fn [new-val] (>= new-val 0)))) 
#'UsSer/non-negative 


递减 代理 的 值 ， 直 到 其 将 变 为 负数 : 


User=> (Send non-negative dec) 
#<Agent@6257d812: 0> 

user=> @non-negative 

0 

User=> (Send non-negative dec) 
#<Agent@6257d812: 0> 

user=> @non-negative 

0 


不 出 所 料 ， 代 理 的 值 不 会 变 为 负数 。 但 如 果 继 续 使 用 这 个 发 生 过 错误 的 代理 ， 会 怎样 呢 ? 


User=> (send non-negative inc) 
IllegalStateException Invalid reference state cLojure.Lang.ARef.VvVaLidate… 


user=> @non-negative 
0 


一 旦 代理 发 生 错 误 ， 就 会 默认 进入 失效 状态 ， 之 后 对 代理 数据 的 任何 操作 都 会 失败 。 使 用 
agent-error 可 以 查看 一 个 代理 是 否 为 失效 状态 ( 也 可 以 查看 其 失效 原因 ), 使 用 restart-agent 
可 以 重 置 失效 状态 的 代理 : 


user=> (agent-error non-negative) 

#<IllegalStateException java.lang.IllegalStateException: Invalid reference state> 
user=> (restart-agent non-negative 0) 

0 

User=> (agent-error non-negative) 

nil 

user=> (send non-negative inc) 

#<Agent@6257d812: 1> 

user=> @non-negative 

1 


创建 代理 时 其 错误 处 理 模式 默认 为 :faiL。 也 可 以 将 错误 处 理 模式 置 为 :continue， 这 意味 
着 失效 状态 的 代理 不 需要 通过 restart-agent 重 置 就 可 以 处 理 新 的 操作 。 如 果 设 置 了 错误 处 理 函 
数 ， 那 错误 处 理 模 式 默 认为 :continue， 代 理 出 现 错误 时 则 会 调用 错误 处 理 师 数 。 


下 面 来 看 一 个 使 用 代理 的 例子 。 
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内 存 日 志 系 统 


进行 并 行 编程 时 , 我 发 现 内 存 日 志 系 统 是 非常 有 用 的 一 一 传统 日 志 系 统 体 量 过 大 , 在 处 理 并 
发 问题 时 往往 无 所 和 神 益 ,比如 对 于 每 行 日 志 虱 会 进行 多 次 上 下 文 切换 和 IO 操 作 。 用 线程 与 锁 模 型 
实现 内 存 日 志 系 统 比较 复杂 ， 而 使 用 代理 来 实现 就 非常 简单 : 


Clojure/Logger/src/logger/core.cjj 
(def Log-entries (agent [])) 


(defn Log [entry] 
(send Log-entries conj [(now) entry])) 


日 志 被 记录 在 代理 Log-entries 中 ， 其 初始 值 是 一 个 空 数组 。Log 晒 数 用 conj 回 数组 中 添加 
新 元 北 ， 新 元 素 是 一 个 二 元 数组 一 一 第 一 个 元 系 是 时 间 戳 (记录 痢 send 被 调用 的 时 间 ， 而 不 是 
conj 被 代理 调用 的 时 间 ，conj 调 用 的 时 间 可 能 比 send 要 晚 )， 第 二 个 元 系 是 日 志 消 息 。 


在 REPL 中 验证 一 下 : 


logger.core=> (Log “Something happened") 

#<Agent@bd99597: [[1366822537794 "Something happened"]]> 

logger.core=> (log "Something else happened") 

#<Agent@bd99597: [[1366822538932 "Something happened"]]> 

logger.core=> @log-entries 

[[1366822537794 "Something happened"] [1366822538932 "Something else happened"]] 


下 一 节 我 们 来 学 习 另 一 种 Clojure 的 共享 可 变数 据 类 型 一 引用 。 


软件 事务 内 存 


引用 ( ref ) 比 原子 变量 和 代理 更 复杂 ,通过 引用 可 以 实现 软件 事务 内 存 ( Software Transactional 
Memory，STM )。 通 过 原子 变量 和 代理 每 次 仅 能 修改 一 个 变量 ， 而 通过 STM 可 以 对 多 个 变量 进行 
并 发 的 一 致 的 修改 ， 就 像 数 据 库 的 事务 可 以 对 多 条 记录 进行 并 发 的 一 致 的 修改 一 样 。 


与 原子 变量 和 代理 类 似 ， 引 用 (ref ) 包装 了 对 一 个 值 的 引用 ( reference )， 可 以 通过 deref 
或 6 获取 该 值 。 


user=> (def my-ref (ref 0)) 
#'UusSer/my-ref 

user=> @my-ref 

0 


引用 的 值 可 以 通过 ref-set 来 设置 。Clojure 提 供 了 alter 也 数 来 修改 引用 的 值 ， 它 类 似 于 之 
前 提 到 的 swap! 和 send， 但 不 同 点 在 于 其 使 用 时 不 能 只 是 简单 地 被 调用 : 


user=> (ref-set my-ref 42) 
IllegalStateException No transaction running 


user=> (alter my-ref inc) 
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IllegalStateException No transaction running 


只 能 在 


糙 


务 


-个 事务 中 才能 修改 引用 的 值 。 


STM 事务 具有 原子 性 、 一 致 性 和 隅 离 性 。 


原子 性 : 


一 致 性 . 
如 条 事务 的 


在 其 他 的 事务 看 来 ， 当 前 事务 的 所 有 副作用 或 者 全 部 发 生 ， 或 者 都 不 发 生 。 
事务 保证 全 程 齐 守 校 验 表 定义 的 规范 《就 像 我们 在 原子 变量 和 代理 中 看 到 的 一 样 )。 


阿 离 性 : 
完全 一 样 O 


系列 修改 中 任 一 个 校 验 失 败 ， 那 么 所 有 的 修改 帮 不 会 发 生 。 


多 个 事务 可 以 同时 运行 ,但 同时 运行 的 事务 的 结 末 与 串 行 运 行 这 些 事务 的 结 琳 应 当 


你 可 能 已 经 看 出 来 了 ， 这 三 个 性 质 是 许多 数据 库 文 持 的 ACID 特性 中 的 前 三 个 。 唯 一 遗漏 的 
性 质 是 桂 久 性 一 一 STM 的 数据 在 电源 故障 或 系统 衣 省 时 会 丢失 。 如 果 需 要 用 到 持久 性 ， 就 必须 使 


用 数据 库 。 


使 用 dosync 创 建 一 个 事务 : 


user=> (dosync (ref-set my-ref 42) ) 


42 


user=> @my-ref 


42 


user=> (dosync (alter my-ref inc)) 


43 


user=> @my-ref 


43 


dosync 包 闭 的 所 有 元 素 构 成 了 一 个 事务 。 


WW 小 乔 爱 问 : 
xf 。 这 些 事务 必须 具有 隔离 性 吗 ? 


大 多 数 场景 适合 使 用 完全 隔离 的 事务 ， 但 对 于 有 些 场景 ,隔离 性 是 个 过 强 的 约束 。 如 果 
用 commute 替换 aLter， 就 可 以 得 到 不 那么 强 的 隔离 性 。 


虽然 使 用 commute 是 一 种 有 效 的 优化 手段 ， 但 是 理解 其 大 用 场景 是 比较 复杂 的 ， 因 此 
本 书 不 介绍 这 部 分 内 容 。 
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多 个 引用 


事务 通常 会 涉及 多 个 引用 ( 否则 ， 应 使 用 原子 变量 或 代理 )。 使 用 事务 的 典型 场景 是 在 不 同 
银行 账户 之 间 进 行 转账 一 一 大 家 永远 不 想 看 到 “ 钱 已 经 从 源 账户 中 划 出 、 但 未 能 划 入 目标 账户 ” 
的 情况 。 下 面 这 个 函数 保证 了 出 账 和 入 账 都 发 和 后， 或 者 禾 不 发 生 : 


Clojure/Transfer/src/transfer/core.clj 
(defn transfer [from to amount] 
(dosync 
(alter from - amount) 
(alter to + amount))) 


对 这 个 函数 进行 验证 : 


user=> (def checking (ref 1000)) 
#'User/checking 

user=> (def savings (ref 2000)) 
#'USer/savings 

user=> (transfer savings checking 100) 
1100 

user=> @checking 

1100 

user=> @savings 

1900 


如 朵 STM 运 行 时 检测 到 几 个 并 发 事务 的 修改 发 生 冲 突 ， 那 其 中 的 一 个 或 几 个 事务 将 进行 重 
试 。 就 像 修改 原子 变量 一 样 ， 事 务 需 要 保证 没有 副作用 。 


重 试 事务 
秉 着 先 做 实验 再 讲理 论 的 精神 ， 我 们 先 对 transfer 函 数 进 行 压力 测试 ， 看 看 是 否 能 找到 事 
务 被 重 试 的 现象 。 答 试 以 下 代码 : 


Clojure/Transfer/src/transfer/core.clj 


(def attempts (atom 0)) 
(def transfers (agent 0)) 


(defn transfer [from to amount] 


(dosync 
> (swap! attempts inc) // 在 事务 内 产生 副作用 一 一 产品 代码 中 永远 不 要 这 样 写 111 
> (send transfers inc) 


(alter from - amount) 
(alter to + amount))) 


这 段 代 码 故 意 打 破 “ 茶 止 副 作用 ”的 规则 , 在 事务 中 修改 原子 变量 来 产生 副作用 。 我 们 是 为 
了 做 事务 重 现 的 实验 才 这 样 做 ， 永 远 不 要 在 产品 代码 中 这 样 与 。 


除了 在 原子 变量 中 维护 了 计数 天 ,我 们 还 在 代理 中 维护 了 计数 各， 稍 后 会 对 这 个 做 法 进行 
解释 。 
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这 段 代 码 用 于 对 transfer 函 数 进行 压力 测试 . 


Clojure/Transfer/src/transfer/core.clj 


(def checking (ref 10000)) 
(def savings (ref 20000)) 


(defn stress-thread [from to iterations amount] 
(Thread. #(dotimes [ iterations] (transfer from to amount)))) 


(defn -main [S args] 
(println "Before: Checking =" @checking " Savings =" @savings) 
(let [tl (stress-thread checking savings 100 100) 
t2 (stress-thread savings checking 200 100)] 
(.start t1) 
(.start t2) 
(. join t1) 
(,. join t2)) 
(await transfers) 
(printLn "Attempts: " @attempts) 
(println "Transfers: " @transfers) 
(println "After: Checking =" @checking " Savings =" @savings)) 


这 段 代 码 创建 了 两 个 线程 。 一 个 线程 从 文 票 账户 往 储 蕃 账户 进行 100 次 转账 ， 每 次 100 美 金 ; 
男 一 个 线程 从 储蓄 账户 往 支 票 账 户 进 oe ee te pen a 


Before: Checking = 10000 Savings = 20000 
Attempts: 638 

Transfers: 300 

After: Checking = 20000 Savings = 10000 


太 好 了 ， 我 们 得 到 了 预期 的 结果 ，STM 运 行 时 确保 并 发 事务 运行 得 到 了 正确 的 结果 。 其 代 
价 是 进行 了 多 次 重 试 ( 本 例 中 进行 了 338 次 重 试 )， 而 好 处 是 全 程 没 有 使 用 锁 ， 不 会 有 发 生死 锁 
的 风险 。 

当然 ,这 并 不 是 现实 中 的 情况 一 一 两 个 线程 在 频繁 的 循环 中 访问 同一 De 
不 断 发 生 访问 冲突 。 实 际 情况 中 ， 一 个 设计 良好 的 系统 的 事务 重 试 次 数 会 少 得 多 。 

事务 的 安全 副作用 

你 也 许 注 意 到 尽管 原子 变量 维护 的 计数 不 断 增 大 ， 但 代理 维护 的 计数 却 与 事务 的 数量 相等 。 
其 原因 是 代理 具有 事务 性 。 


如 果 在 事务 中 用 send 来 更 新 一 个 代理 ， 那 send 仅 在 事务 成 功 时 生效 。 如 果 需 要 在 事务 成 功 
时 产生 一 些 副 作用 ， 那 send 将 是 最 佳 选择 。 
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小 乔 爱 问 : 


~ 


过 ”函数 名 末尾 的 感叹 号 是 什么 意思 ? 


你 也 许 注意 到 一 些 函 数 名 末尾 有 个 感叹 号 一 一 这 种 命名 规则 在 表达 什么 ? 


Clojure 用 一 个 感叹 号 表示 一 个 函数 不 是 事务 安全 的 ， 比 如 swap! 和 reset!。 由 于 更 新 
代理 的 函数 使 用 的 是 send 而 不 是 send!， 所 以 可 以 安全 地 在 事务 中 更 新 代理 。 


Clojure 对 共享 可 变 状态 的 支持 
之 前 已 经 学 习 了 Clojure 文 持 共 至 可 变 状态 的 三 种 机 制 。 每 种 机 制 都 有 各 目的 适用 场景 。 


原子 变量 可 以 对 一 个 值 进行 同步 更 新 
个 原子 变量 不 能 进行 一 致 地 更 新 。 


代理 可 以 对 一 个 值 进行 异步 更 新 一 一 异步 的 意思 是 更 新 可 能 在 send 返 回 后 进行 ,对 多 个 代理 
不 能 一 致 更 新 。 


引用 可 以 对 多 个 值 进行 一 致 的 、 同 步 的 更 新 。 


同步 的 意思 是 更 新 在 swap! 返 回 时 已 经 完成 。 对 多 cs 


第 二 天 总 结 

我 们 完成 了 第 二 天 的 学 习 。 第 三 天 我 们 将 学 习 一 些 使 用 可 变 类 型 的 复杂 例子 , 并 学 习 不 同 可 
变 类 型 的 适用 场景 。 

第 二 天 我 们 学 到 了 什么 

除了 原子 变量 ，Clojure 还 提供 了 代理 和 引用 。 

口 原子 变量 可 以 对 单一 值 进 行 隔 离 的 、 同 步 的 更 新 。 

口 代理 可 以 对 单一 值 进行 隔离 的 、 异 步 的 更 新 。 

口 引用 可 以 对 多 个 值 进行 一 致 的 、 同 步 的 更 新 。 

第 二 天 自习 

查找 


口 观看 Rich Hickey 的 演讲 “Persistent Data Structures and Managed References: Clojure’s 
Approach to Identity and State” 。 
口 观看 Rich Hickey 的 演讲 “Simple Made Easy ”。 
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实践 

口 改进 4.2 节 的 例子 TournamentServer， 用 引用 和 事务 来 实现 一 个 运行 并 字模 游戏 的 服 
务 散 。 

口 用 列表 存储 节点 ， 实 现 一 个 持久 化 的 查询 二 义 树 。 最 坏 情 况 下 需要 进行 多 少 次 复制 ? 平 
均 情况 下 呢 ? 

口 学 习 finger tree， 并 用 它 实 现 查询 二 义 树 。 它 对 平均 情况 下 和 最 坏 情况 下 的 性 能 有 什么 
影响 ? 


4.4 第 三 天 : 深入 学 习 


我 们 已 经 学 习 了 “Clojure 之 道 ” 涉 及 的 所 有 组 件 , 今天 将 等 习 一 些 运 用 这 些 组 件 的 复 森 例子 ， 
以 及 在 面 对 某 个 并 发 问题 时 应 当选 择 原子 变量 还 是 选择 STM。 


用 STM 解 决 哲学 家 进餐 问题 
作为 开场 ， 先 来 回顾 一 下 第 2 草 提 到 的 “ 哲 竺 家 进餐 问题 "， 并 用 Clojure 的 STM 来 解决 这 个 问 
题 。 该 解决 方案 非常 类 似 于 2.3 世 中 介绍 的 使 用 条 件 变 量 的 方案 (然而 STM 方案 会 更 简单 )。 


我 们 使 用 一 个 引用 来 代表 一 个 哲学 家 ， 引 用 的 值 是 哲学 家 的 当前 状态 〈 :thinking 
或 :eating )。 这 些 引 用 保存 在 数组 phiLosophers 中 。 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 
(def philosophers (into [] (repeatedly 5 #(ref :thinking)))) 


每 个 哲学 家 都 有 一 个 对 应 的 线程 : 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 
Line1 (defn think [] 
(Thread/sleep (rand 1000))) 


- (defn eat [] 
(Thread/sleep (rand 1000))) 


1 Un 


- (defn philosopher-thread [nj 
(Thread. 
#(let [philosopher (philosophers n) 

10 left (philosophers (mod (- n 1) 5)) 

- right (philosophers (mod (+ n 1) 5))] 

(while true 
(think) 

- (when (claim-chopsticks philosopher left right) 
15 (eat) 

- (release-chopsticks philosopher)))))) 


- (defn -main [& args] 
(Let [threads (map philosopher-thread (range 5))] 
20 (doseq [thread threads] (.start thread)) 
(doseq [thread threads] (.join thread)))) 


与 Java 版 本 的 方案 类 似 ， 每 个 线程 将 无 限 循 环 下 去 (第 12 行 )， 哲 学 家 或 者 进行 思考 ， 或 者 
答 试 进餐 。 如 果 cLaim-chopsticks 执 行 成 功 〈 第 14 行 )， 控 制 结构 when 会 完 调 用 eat 再 调用 


reLease-chopsticks。 


release-chopsticks 的 实现 非常 简单 . 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


(defn release-chopsticks [phiLosopher] 
(dosync (ref-set philosopher :thinking))) 


这 段 代码 仅 简 单 地 用 dosync 创 建 一 个 事务 ， 并 用 ref- set 将 状态 置 为 :thinking。 


首次 尝试 
claim-chopsticks 哺 数 非常 值得 讨论 一 一 先 尝试 一 种 实现 方法 : 
(defn claim-chopsticks [philosopher left right] 
(dosync 


(when (and (= @left :thinking) (= @right :thinking)) 
(ref-set philosopher :eating)))) 

类 似 于 release-chopsticks， 这 段 代码 首先 创建 了 一 个 事务 。 在 这 个 事务 中 ,检查 左边 和 
右边 的 哲学 家 的 状态 一 一 如 果 两 边 的 状态 都 是 :thinking， 就 使 用 ref-set 将 当前 哲学 家 的 状态 
置 为 eating。 如 果 条 件 不 满足 ,when 语句 将 返回 niL， 即 当 哲学 家 无 法 获得 两 支 簧 子 并 开始 进餐 
时 ，ctLaim-chopsticks 也 将 返回 nilL。 


尝试 运行 这 段 代 码 , 第 一 感觉 是 一 切 运 行 正 常 。 但 偶尔 也 会 发 现 两 个 相 邻 的 哲学 家 在 同时 进 
餐 ， 他 们 共用 了 一 支 僻 子 ， 显然 这 是 个 错误 的 状态 。 到 底 发 生 了 什么 ? 

造成 这 个 问题 的 原因 是 我 们 用 @ 访 问 了 Left 和 right 的 值 。Clojure 的 STM 会 保证 两 个 事务 不 
能 对 同一 个 引用 进行 不 一 致 的 修改 ， 虽 然 这 段 代码 并 没有 修改 Left 或 者 right， 但 却 读 取 了 它们 
的 值 。 其 他 事务 是 可 以 修改 这 些 值 的 ， 这 也 就 造成 了 相 邻 的 哲学 家 同时 进餐 的 错误 状态 。 


确保 值 不 被 修改 
要 解决 上 面 的 问题 ， 可 以 用 ensure 代 替 @ 来 访问 Left 和 right: 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 
(defn claim-chopsticks [philosopher Left right] 
(dosync 
(when (and (= (ensure left) :thinking) (= (ensure right) :thinking)) 
(ref-set philosopher :eating)))) 
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ensure 冰 数 确 你 了 其 返回 的 有 菏 引 用 的 值 不 会 被 其 他 事务 修改 。 与 之 前 基于 线程 与 锁 的 解决 方 
案 相 比较 会 发 现 ， 现 在 的 方案 不 仅 非 稼 简 济 ， 而 且 是 无 锁 的 ， 即 没有 死 锁 风 险 。 
现在 的 解决 方案 使 用 了 多 个 引用 和 事务 ,下 一 市 将 介绍 为 一 种 解决 方 条 , 其 只 使 用 了 一 个 原 


子 变 量 。 


不 用 STM 解决 哲学 家 进餐 问题 


面 对 哲 学 家 进餐 问题 , 除了 基于 STM 的 方案 我 们 还 有 其 他 选择 。 之 前 的 方案 将 每 个 哲学 家 神 
用 一 个 引用 来 代表 ,并 使 用 事务 来 确保 对 多 个 引用 的 更 新 是 一 致 的 。 首先 , 将 仅 用 一 个 原子 变量 
来 表示 所 有 哲学 家 的 状态 : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 
(def philosophers (atom (into [] (repeat 5 :thinking)))) 


原子 变量 的 值 是 一 个 状态 数组 。 举 例 说 明 ， 哲 学 家 0 和 哲学 家 3 正在 进餐 时 ， 其 状态 数组 是 : 
[:eating :thinking :thinking :eating :thinking] 


然后 ， 要 用 状态 数组 中 的 序号 来 代表 哲学 家 ， 就 要 对 phiLosopher-thread 做 一 点 小 修改 : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 
(defn philosopher-thread [phiLosopher] 


(Thread. 
> #(let [Left (mod (- philosopher 1) 5) 
> right (mod (+ philosopher 1) 5)] 
(while true 
(think) 
(when (claim-chopsticks! philosopher left right) 
(eat) 


(release-chopsticks! philosopher)))))) 


之 后 ， 要 实现 release-chopsticks! ， 只 需要 用 swap! 将 状态 数组 的 相关 元 系 置 
为 :thinking: 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


(defn release-chopsticks! [philosopher] 
(swap! philosophers assoc philosopher :thinking)) 


这 里 用 到 了 assoc， 之 前 我 们 对 map 用 过 这 个 函数 ， 其 对 数组 的 效果 是 类 似 的 : 


user=> (assoc [:a :a :a :al 2 :b) 
[:a :a :b :al] 


最 后 ， 实 现 最 关键 的 函数 claim-chopsticks!: 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 
(defn claim-chopsticks! [philosopher Left right] 


(swap! philosophers 
(fn [ps] 
(if (and (= (ps left) :thinking) (= (ps right) :thinking)) 
(assoc ps philosopher :eating) 
ps))) 
(= (@philosophers philosopher) :eating)) 
传 给 swap! 的 匿名 函数 的 参数 是 状态 数组 philosophers 的 当前 值 ， 该 攻 名 函数 对 邻 座 哲学 
家 的 状态 进行 检查 。 如 果 邻 座 都 在 思考 ， 就 用 assoc 将 当前 哲学 家 的 状态 置 为 :eating， 否 则 直 
接 返 回 phiLosophers 而 不 改变 phiLosophers 的 值 。 


cLaim-chopsticks! 的 最 后 一 行 代码 检查 了 phitosophers 的 新 值 ， 目 的 是 判断 swap! 是 否 
成 功 地 将 当前 哲学 家 的 状态 置 为 :eating。"” 

我 们 已 经 学 习 了 两 种 哲学 家 进餐 问题 的 解决 方案 , 一 种 使 用 STM,， 男 一 种 则 不 使 用 。 如 何在 
两 者 之 间 进 行 选择 呢 ? 


原子 变量 还 是 STM? 


第 二 天 已 介绍 过 ， 原 子 变 量 可 以 对 单一 值 进行 更 新 ， 而 引用 可 以 对 多 个 值 进 行 一 致 的 更 新 。 
里 然 两 者 功能 不 同 , 但 如 本 章 所 述 ,， 我 们 能 做 出 一 个 使 用 STM 并 涉及 多 个 引用 的 解决 方案 ,也 能 
很 容易 将 其 转换 成 一 个 使 用 单一 原子 变量 的 方案 。 

现在 我 们 面临 一 个 妨 众 的 局 面 一 一 当 解决 一 个 涉及 多 个 值 需 一 致 更 新 的 问题 时 , 即 可 以 使 用 
多 个 引用 并 通过 事务 来 你 证 访问 一 致 性 , 也 可 以 将 这 些 值 整合 到 一 个 数据 结构 中 并 用 一 个 原子 变 
量 管理 这 个 数据 结构 的 访问 一 致 性 。 

应 该 如 何 选择 呢 ? 

这 个 问题 的 答案 很 大 程度 上 因 人 而 寞 一 一 两 种 方案 部 正确 ,所 以 要 选择 那个 最 简便 的 。 在 性 
能 上 , 根据 使 用 场景 的 特点 和 数据 访问 模式 的 不 同 , 肯定 会 有 所 差异 ,所 以 需要 用 压力 测试 进行 
性 能 评 佑 之 后 再 进行 选择 。 

虽然 STM 市 有 更 多 光 芷 , 但 有 经 验 的 Clojure 程 序 员 知道 : 由 于 声言 的 函数 性 减少 了 对 可 变量 
的 使 用 ， 因 此 大 部 分 问题 郡 可 以 用 原子 变量 来 解决 。 更 简单 的 方案 通关 会 更 有 效 。 


定制 并 发 贞 数 


使 用 原子 变量 解决 哲学 家 进餐 问题 的 代码 是 可 以 正确 运行 的 ,但 claim-chopsticks1 的 实 


Q 此 处 作者 在 swap! 之 后 调用 了 @phitosophers， 设 想 如 果 在 swap! 之 后 、@phitosophers 之 前 ， 另 一 个 线程 修改 了 当 
前 哲学 家 的 状态 ， 那 么 cLaim-chopsticks! 的 返回 值 将 不 正确 。 所 以 不 推荐 这 样 使 用 ， 而 是 应 将 状态 设置 和 状态 
检查 放 在 同一 个 原子 操作 中 。 不 过 ， 此 处 由 于 当前 哲学 家 状态 仅 能 由 当前 线程 修改 ， 所 以 这 段 代 码 是 正确 的 。 

一 一 译 者 注 


分 离 标 识 与 状态 
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现 并 不 优雅 。 如 果 当 前 哲学 家 可 以 获得 两 边 的 筷子 ， 那 调用 swap ! 之 后 的 那 次 检查 是 否 必 要 ? 理 
想 状 况 下 ， 仅 需要 一 个 类 似 于 swap ! 的 图 数 ， 其 接受 一 个 参数 作为 判断 条 件 ， 仅 当 判 断 条 件 为 真 
时 进行 swap! 操 作 。 可 以 将 cLaim-chopsticks! 写 成 这 样 : 


Clojure/DiningPhilosphersAtom2/src/philosophers/core.clj 


(defn claim-chopsticks! [philosopher Left right] 
(swap-when! Philosophers 
#(and (= (%1 Left) :thinking) (= (%1 right) :thinking)) 
assoc philosopher :eating)) 


Clojure 并 没有 提供 我 们 理想 中 的 函数 ， 但 我 们 可 以 目 己 写 一 个 : 


Clojure/DiningPhilosphersAtom2/src/philosophers/util.clj 
Line1 (defn swap-when! 
"If (pred current-value-of-atom) is true, atomically swaps the value 
of the atom to become (apply f current-value-of-atom args). Note that 
both pred and f may be called multiple times and thus should be free 
5 of side effects. Returns the value that was swapped In if the 
predicate was true, nil otherwise." 
[a pred f & args] 
(Loop [] 
(Let [old Gaj] 
10 (If (pred old) 
(Let [new (apply f old args)] 
(If (compare-and-set! a old new) 
new 
- (recur))) 
15 nil)))) 


这 段 代码 用 到 了 一 些 先 前 没 出 现 过 的 语言 特性 。 第 一 个 特性 是 文档 字符 囊 。 文 档 字符 串 是 位 
于 defn 和 参数 列表 之 间 的 字符 串 , 用 于 描述 函数 的 行为 。 文 档 字 符 串 对 任何 函数 都 是 有 益 的 , 万 
其 是 对 那些 为 了 重用 而 设计 的 辅助 函数 。 除 了 在 源码 中 查看 文档 字符 串 ,， 也 可 以 从 REPL 中 获取 : 


philosophers.core=> (require '[philosophers.util :refer :alll]) 

nil 

philosophers.core=> (clojure.repl/doc swap-when'!) 

philosophers.util/swap-when! 

([atom pred f & args]) 
If (pred current-value-of-atom) is true, atomically swaps the value 
of the atom to become (apply f current-value-of-atom args). Note that 
both pred and f may be called multiple times and thus should be free 
of side effects. Returns the value that was swapped in if the 
predicate was true, nil otherwise. 


第 二 个 特性 是 参数 列表 中 的 & 符 号 ， 其 说 明了 swap-when 1! 的 参数 个 数 是 可 变 的 (非常 类 似 于 
Java 中 的 省 略 号 或 Ruby 中 的 星 号 )。 通 过 名 为 args 的 数组 可 以 访问 附加 的 参数 。 这 里 还 用 到 了 
appLy， 其 可 以 将 最 后 一 个 参数 展开 ,作为 附加 的 参数 传 给 f (第 11 行 ) 一 一 举例 说 明 ， 下 面 这 两 
种 调用 + 函数 的 方式 是 等 价 的 : 


user=> (apply + 1 2 [3 4 5]) 
15 

user=> (+ 1234 5) 

15 


我 们 还 使 用 较 底层 的 compare-and-set! (第 12 行 ) 来 替换 swap1。compare-and-set1! 接 受 
一 个 原子 变量 、 原 子 变量 的 旧 值 和 原子 变量 的 新 值 一 一 仅 当 原子 变量 的 当前 值 等 于 旧 值 时 , 原子 
变量 的 值 会 被 更 新 为 新 值 ， 整 个 比较 和 更 新 的 过 程 都 是 原子 的 。 

当 compare-and-set! 成 功 时 ，swap-when! 返 回 原子 变量 的 新 值 。 和 否则 ,使 用 recur (第 14 
行 ) 回 到 第 8 行 重 新 运行 。 


]/ 小 乔 爱 问 : 


NA 
过 ”什么 是 Loop/Recur? 

与 许多 函数 式 语 言 不 同 ，Clojure 不 具备 尾 调 用 消除 (tail-call elimination) 的 能 力 ， 因 此 
Clojure 代码 不 第 使 用 递归 ， 而 是 用 Loop/recur。 

Loop 宏 定 义 了 一 个 锚 点 ，recur 可 以 跳 到 这 个 锚 总 〈 类 似 于 C/C++ 中 的 setjmp() 和 
Longjmp())。Clojure 语言 手册 中 详 述 了 其 工作 原理 。 


第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 讨 论 了 Clojure 如 何 将 函数 式 编 程 与 可 变量 混搭 使 用 。 

第 三 天 我 们 学 到 了 什么 

Clojure 的 疯 数 式 性 质 极 大 地 减少 了 可 变量 的 使 用 ,通常 情况 下 , 基于 原子 变量 的 简单 并 发 方 
案 * 就 足够 了 : 

口 基于 STM 的 解决 方案 ( 通过 事务 来 达成 多 个 值 的 一 致 性 ) 可 以 被 基于 代理 的 解决 方案 (将 

多 个 值 整合 到 一 个 数据 结构 中 ， 并 用 一 个 代理 来 管理 对 这 个 数据 结构 的 访问 ) 特 换 ; 

口 在 两 种 方案 之 间 的 选择 往往 基于 个 人 风格 和 程序 性 能 ; 

口 定制 并 发 水 数 可 以 让 代码 更 简洁。 

第 三 天 目 习 

查找 


QD 可 以 认为 基于 原子 变量 的 方案 是 基于 代理 的 方案 的 子 集 。 一 一 译 者 注 
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口 观看 Rich Hickey 的 演讲 “The Database as a Value”， 注 意 Datomic" 是 如 何 有 效 地 将 整个 数 
据 库 视 为 一 个 单一 值 的 。 


实践 


口 改进 第 二 天 的 实践 部 分 的 TournamentServer, 用 原子 变量 代替 引用 和 事务 。 哪 一 种 方案 
更 人 简单? 哪 一 份 代码 更 易 读 ” 哪 一 种 方案 性 能 更 好 ? 


4.5 复习 


Clojure 在 解决 并 发 问题 上 非常 务实 ,起先 我 们 意识 到 并 发 编程 中 最 大 的 障碍 来 日 于 共有 至 可 变 
状态 ， 于 是 Clojure 作 为 一 门 郴 数 式 语言 挺身 而 出 ， 编 与 出 具有 引用 透明 性 且 无 副作用 的 代码 。 之 
后 我 们 又 意识 到 一 些 问题 场景 需要 对 茶 些 可 变 状 态 进 行 维 护 , 因此 Clojure 又 提供 了 很 多 并 发 安全 
的 可 变数 据 类 型 。 


优 扣 

很 显然 ,本章 “Clojure 之 道 ” 的 优点 建立 在 上 一 半 介 绍 的 测 数 式 编程 的 基础 上 。 我 们 可 以 用 
Clojure“ 了 水 数 式 地 ”解决 函数 式 的 问题 ， 也 可 以 在 必要 的 时 候 突破 函数 式 的 茶 铜 。 

传统 命令 式 语 言 的 变量 混淆 了 标识 与 状态 这 两 个 概念 , 而 Clojure 的 持久 数据 结构 将 可 变量 的 
标识 与 状态 分 离开 来 。 这 解决 了 使 用 锁 的 方案 的 大 部 分 缺点 。 专 家 级 Clojure 程 序 员 知道 解决 并 发 
问题 的 最 佳 选择 是 那个 “刚刚 够 用 ”的 方案 。 


缺点 
“Clojure 之 道 ” 的 主要 缺点 在 于 不 文 持 分 布 式 〈 地 理 分 布 或 其 他 ) 编程 。 与 之 相关 ， 它 也 无 
法 直接 提供 容错 性 。 


由 于 Clojure 在 JVM 中 运行 , 很 多 第 三 方 库 可 以 为 Clojure 弥 补 这 些 缺 点 (Akka 就 是 其 中 之 一 ， 
它 使 用 了 下 一 曹 将 要 介绍 的 actor 模 型 )， 不 过 对 这 些 第 三 方 库 的 介绍 超出 了 本 书 的 范 轩 。 


其 他 语言 


Haskell 提 供 了 类 似 本 章 介绍 的 功能 , 不 过 作为 一 种 纯粹 的 也 数 式 语言 , 使 用 起 来 会 有 一 种 不 
同 的 “体验 ”。 值得 一 提 的 是 Haskell 提 供 了 完整 的 STM 实现 ， Simon Peyton Jones 的 文 草 “Beautiful 


QD http:/www.datomic.com 
@) http://blog.darevay.com/2011/06/clojure-and-akka-a-match-made-in/ 


Concurrency” “对 其 进行 了 详细 的 解说 。 


另外 ， 大 部 分 主流 编程 语言 都 提供 了 STM 的 实现 ， 包 括 GCC 支 持 的 编程 语言 >?。 尽 管 如 此 ， 
有 证 据 表 明 : STM 模型 并 不 适合 于 命令 式 语言 ”。 


士 、 
结语 


Clojure 在 冰 数 式 编 程 各 变 状态 之 间 取 得 了 很 好 的 补 衡 ， 比 起 纯粹 的 函数 式 语言 ， 这些 命令 
式 语言 的 特性 会 让 程序 员 感 觉 更 亲切 、 更 容易 上 手 。 与 此 同时 Clojure 保 留 了 也 数 式 编程 的 大 部 分 
优点 ， 包 括 对 并 发 的 完美 支持 。 


概括 而 言 ，Clojure 精 心 设计 了 用 于 并 发 的 语义 ， 从 而 保留 了 共享 可 变 状 态 。 下 一 章 我 们 将 学 
习 actor 模 型 ， 它 完全 抛弃 了 共享 可 变 状 态 。 


GD http://research.microsoft.com/pubs/74063/beautiful.pdf 
@) http://gcc.gnu.org/wiki/Transactional Memory 
(3) http://www.infoq.com/news/2010/05/STM-Dropped 


Actor 


使 用 actor 就 像 租车 一 一 我 们 如 果 需 要 ， 可 以 快速 便捷 地 租 到 一 辆 ;如 打车 辆 发 生 故 障 ， 也 不 
需要 日 己 修 理 ， 下 接 打 电话 给 租车 公司 更 换 为 外 一 辆 即 可 。 

actor 模 型 是 一 种 适用 性 非常 好 的 通用 并 发 编程 模型 。 它 可 以 应 用 于 共 圣 内存 染 构 和 分 布 式 内 
存 淋 构 ， 适 合 解 决 地 理 分 布 型 的 问题 。 同 时 它 还 能 提供 很 好 的 容错 性 。 


5.1 更 加 面向 对 象 


旺 数 式 编 程 不 使 用 可 变 状态 ， 也 就 避 侈 了 共享 可 变 状 态 带 来 的 问题 。 相 比 之 下 ， 使 用 actor 
模型 保留 了 可 变 状 态 ， 只 是 不 进行 共享 。 

actor 类 似 于 面 加 对 象 (OO ) 编程 中 的 对 象 其 封装 了 状态 ， 并 通过 消息 与 其 他 actor 通 信 。 
两 者 的 区 别 是 所 有 actor 可 以 同时 运行 , 而 且 , 与 OO 式 的 “消息 传递 ”( 实质 上 只 是 调用 一 个 方法 ) 
不 同 ，actor 之 间 的 消息 传递 是 真实 地 在 传递 消息 。 


actor 模 型 是 一 个 通用 的 并 发 编程 模型 ， 几 乎 可 以 用 在 任何 一 种 编程 语言 里 ， 最 典型 的 是 
Erlang ”。 而 我 们 将 用 Elixir” 来 介绍 actor 模 型 ， 它 是 Erlang 虚 拟 机 ( BEAM ) 上 相对 较 新 的 一 门 编 
程 语 言 。 

与 Clojure 类 做 ，Elixir 是 一 门 不 纯粹 的 、 动 态 类 型 的 因数 陈 语 言 。 如 果 你 鸣 悉 Java 或 者 Ruby， 
很 容易 就 能 看 懂 Elixir 代 码 。 与 以 入 一样， 我 们 不 会 把 本 章 写 成 Elixir 的 教程 (本 书 的 主旨 是 并 发 ， 
而 不 是 编程 语言 )， 但 仍 将 介绍 一 些 必 要 的 语言 特性 。 如 采 你 对 这 门 语言 并 不 丈 悉 ， 那 就 不 得 不 
在 某 些 地 方 “ 盲 目 ” 接 受 本 书 的 说 法 一 一 如 果 想 深入 学 习 Elixir， 推 荐 阅读 Programming Elixir 
[Thol4]。 


第 一 天 ， 我们 将 学 习 actor 模 型 的 基础 一 一 如 何 创建 actor、 发 送 消 息 和 接收 消息 。 第 二 天 ， 学 
习 使 用 actor 模 型 的 程序 具有 容错 性 的 关键 : 失败 检测 和 “ 任 其 朋 江 ”的 哲学 。 第 三 天 ， 学 习 如 何 


GD http://www.erlang.org/ 
@) http://elixir-lang.org/ 
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通过 actor 模 型 编写 分 布 式 程 序 , 将 计算 扩展 到 多 台 计 算 机 ,并 能 从 一 台 或 多 台 计 算 机 的 月 沉 中 恢 
复 过 来 。 


现在 我 们 来 学 习 如 何 创 建 和 停止 进程 、 如 何 发 送 和 接收 消息 ， 以 及 如 何 检测 进程 已 终止 。 


| 小 乔 爱问 : 


”是 actor 还 是 进程 ? 


类 似 于 Erlang， 在 Elixir 中 ，actor 对 象 被 称 为 进程 。 大 部 分 场景 下 ， 进 程 是 一 个 重量 级 
的 概念 ， 它 会 消耗 很 多 资源 ， 且 创建 代价 很 高 。 不 过 在 Elixir 中 ,进程 是 一 个 轻 量 级 的 概念 ， 
比 操 作 系 统 级 的 线程 还 要 轻 量 : 它 消耗 更 少 的 资源 ， 且 创建 代价 很 低 。Elixir 程序 可 以 毫 无 
困难 地 创建 数 千 个 进程 ， 通 第 不 需要 依赖 线程 池 (参见 2.4 节 ) 等 技术 。 


第 一 个 actor 
先 来 尝试 创建 一 个 简单 的 actor， 并 癌 其 发 送 一 些 消 息 。 我 们 将 创建 一 个 叫 Talker 的 actor， 其 
收 到 不 同 的 消息 时 会 输出 不 同 的 结 


所 发 送 的 消息 是 一 个 元 组 (tuple ) 一 一 元 组 是 一 个 由 多 个 值 组 成 的 序列 。 在 Elixir 中 ， 用 花 
括号 〈 人 ) 表示 元 组 ， 举 例如 下 : 

{:foo, "this", 42} 

这 是 个 三 元 组 ， 第 一 个 元 素 是 一 个 关键 字 ( 与 Clojure 类 似 ， 也 是 用 冒号 表示 关键 字 )， 第 二 
个 元 素 是 一 个 字符 串 ， 第 三 个 元 素 是 一 个 整数 。 


来 看 看 actor 的 代码 : 


Actors/hello actors/hello actors.exs 


defmodule Talker do 
def loop do 
receive do 
{:greet, name} -> I0.puts("Hello #{name}") 
{:praise, name} -> I0.puts("#{name}, you're amazing") 
{:celebrate, name, age} -> I0.puts("Here's to another #{age} years, #{name}") 
end 
Loop 
end 
end 
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我 们 稍 后 会 对 这 上段 代码 进行 深入 分 析 。 现 在 只 需要 知道 这 段 代码 定 义 了 一 个 actor， 其 接受 二 
种 不 同 的 消息 ， 并 打印 不 同 的 字符 串 。 


下 面 创 建 这 个 actor 的 实例 ， 并 回 其 发 送 一 些 消 息 : 


Actors/hello actors/hello actors.exs 


pid = spawn(&Talker. loop/0) 
send(pid, {:greet, "Huey"}) 
send(pid, {:praise, "Dewey"}) 
send(pid, {:celebrate, "Louie", 16}) 
sleep(1000) 


首先 ， 这 段 代码 用 spawn 创 建 了 actor 的 实例 ， 并 获得 进程 标识 符 ， 这 个 进程 标识 符 被 保存 在 


pid 中 。 进 程 将 执行 spawn 的 参数 所 指定 的 函数 ， 本 例 中 的 函数 是 Talker 模 块 中 的 Loop(), 该 也 
数 接受 0 个 参数 。 


然后 ， 这 段 代 码 疝 刚 创 建 的 actor 实 例 发 送 了 三 个 消息 。 


最 后 ，sleep 一 下 ， 让 各 个 进程 有 时 间 人 处 理 消 息 (用 sleep() 并 不 是 最 住 选择 一 一 稍 后 将 介绍 
如 何 改 进 )。 

以 下 是 这 段 代 码 的 运行 结 

Hello Huey 


Dewey, you're amazing 
Here's to another 16 years, Louie 


我 们 已 经 学 习 了 如 何 创建 actor 并 向 其 发 送 消 息 ， 现 在 需要 副 析 一 下 其 中 的 机 制 。 


队列 式 信和 杆 


异步 地 发 送 消息 是 用 actor 模 型 编程 的 重要 特性 之 一 。 消息 并 不 是 直接 发 送 到 一 个 actor， 而 是 
发 送 到 一 个 信箱 ( mailbox ) ， 如 图 5-1 所 示 。 


信 疡 二 


吉利 


Celebrate: 
Loule, 16 


HelloActors Talker 
Dewey 


Greet: 
Huey 


图 5-1 ”向 信 箱 发 送 消 息 


这 样 的 设计 解 厢 了 actor 之 间 的 关系 一 一 actor 邵 以 日 己 的 步调 运行 , 且 发 送 消 息 时 不 会 被 阻塞 。 
虽然 所 有 actor 可 以 同时 运行 ， 但 它们 都 按照 信箱 接收 消息 的 顺序 来 依次 处 理 消 县 ， 且 仅 在 当 
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前 消息 处 理 完 成 后 才 会 处 理 下 一 个 消息 ， 因 此 我 们 只 需要 关心 发 送 消息 时 的 并 发 问题 即 可 。 


接收 消息 


通常 actor 会 进行 无 限 循 环 ， 通 过 receive 等 待 接收 消息 ， 并 进行 消息 处理 。 现 在 来 看 一 下 
Talker 的 循环 代码 : 


Actors/hello actors/hello actors.exs 


def loop do 
receive do 
{:greet, name} -> I0.puts("Hello #{name}") 
{:praise, name} -> I0.puts("#{name}, you're amazing") 
{:celebrate, name, age} -> I0.puts("Here's to another #{age} years, #{name}") 
end 
Loop 
end 


该 函数 通过 递归 调用 自己 来 进行 无 限 循环 ， 用 receive 块 来 等 竺 一 个 消息 ， 通 过 匹配 模式 来 
决定 如 何 处 理 消 息 。 这 段 代码 依次 用 每 个 模式 对 接收 到 的 消息 进 和 Re 日 匹配 成 功 , 在 箭 
头 ( -> ) 右边 的 代码 中 ， 就 可 以 通过 模式 中 的 变量 ( name 和 age ) 来 访问 消息 中 的 对 应 值 。 处 理 
消息 的 代码 使 用 字符 串 插 值 技 术 来 构造 字符 串 并 输出 一 一 字符 串 插 值 技术 指 的 是 #{.,..} 中 的 代 
码 将 被 求 值 并 将 求 值 结果 插入 到 字符 串 的 对 应 位 置 。 5 


“第 一 个 actor” 部 分 的 最 后 一 段 代码 在 退出 前 sleep 了 1 秒 ， 这样 才 有 足够 的 时 间 处 理 消息 。 这 
个 解决 方 条 不 过 是 差强人意 一 一 我 们 可 以 做 得 更 好 。 


WW 小 乔 爱 问 : 
不 断 递 归 难 道 不 会 栈 洪 出 吗 ? 


你 也 许 已 经 注意 到 了 Talker 的 Loop() 甩 数 不 断 地 进行 递归 ， 就 会 担心 堆栈 会 不 断 被 
消耗 。 幸 运 的 是 我 们 并 不 需要 担心 一 一 与 许多 也 数 式 语言 一 样 (不 过 Clojure 是 个 特例 ， 参 
见 4.4 市 的 “小 乔 爱 问 ) ，Elixir 实现 了 尾 调用 消除 。 尾 调用 消除 指 的 是 如 果 函 数 在 最 后 调 
用 了 自己 ， 那 么 递归 调用 将 被 替换 成 一 个 简单 的 跳 转 。 


连接 到 (linking〉 进程 


为 了 彻底 关闭 一 个 actor, 需要 满足 两 个 条 件 。 第 一 个 是 需要 告诉 actor 在 完成 消息 处 理 后 就 天 
闭 ; 第 二 个 是 需要 知道 actor 何 时 完成 关闭 。 


首 完 ， 通 过 接收 一 个 显 式 的 关闭 消息 (类似 于 2.4 市 中 介绍 的 毒 丸 ) 来 满足 第 一 个 条 件 : 


104 第 $5 章 Actor 


Actors/hello actors/hello actors2.exs 
defmodule Talker do 
def loop do 
receive do 
{:greet, name} -> I0.puts("Hello #{name}") 
{:praise, name} -> I0.puts("#{name}, you're amazing") 
{:celebrate, name, age} -> I0.puts("Here's to another #{age} years, #{name}") 
> {:shutdown} -> exit(:normal) 
end 
Loop 
end 
end 


然后 ， 需 要 一 个 方法 来 获知 actor 是 否 完 全 关闭 。 下 述 代码 将 :trap_exit 设 为 true， 并 用 
spawn Link() 蔡 换 spawn() 以 连接 到 进程 : 


Actors/hello actors/hello actors2.exs 


Process.flag(:trap exit, true) 
pid = spawn link(&Talker. loop/0) 


现在 当 创 建 的 进程 关闭 时 ， 就 会 得 到 一 个 通知 ( 是 一 个 系统 产生 的 消息 )。 这 个 消息 是 一 个 
二 元 组 : 


{:EXIT, pid, reason} 


最 后 ， 发 送 天 财 消 息 并 收 到 关闭 通知 : 


Actors/hello actors/hello actors2.exs 

send(pid, {:greet, "Huey"}) 

send(pid, {:praise, "Dewey"}) 

send(pid, {:celebrate, "Louie", 16}) 
> send(pid, {:shutdown}) 


receive do 
{:EXIT, 人 ^pid, reason} -> I0O.puts("Talker has exited (#{reason})") 
end 
receive 模 式 中 使 用 ^ 符 号 ( 脱 字 符 ) 的 第 二 个 元 素 , 将 不 会 绑 定 到 消息 的 第 二 个 数据 ， 而 是 
用 pid 的 当前 值 进行 模式 匹配 。 


行 这 个 新 版 本 代码 ， 输 出 如 下 : 


Hello Huey 

Dewey, you're amazing 

Here's to another 16 years, Louie 
Talker has exited (normal) 


我 们 将 在 第 二 天 深入 讨论 连接 技术 。 


Vvyv 
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有 状态 的 actor 


之 前 的 Talker 是 没有 状态 的 actor。 创 建 一 个 有 状态 的 actor 时 ， 很 容易 想到 使 用 可 变量 , 但 
实际 上 可 以 使 用 递归 。 举 例 说 明 ， 下 面 这 个 actor 每 收 到 一 个 消息 时 都 会 将 计数 器 加 1: 


Actors/counter/counter.ex 


defmodule Counter do 
def loop(count) do 
receive do 
{:next} -> 
IO.puts("Current count: #{count}") 
loop(count + 1) 
end 
end 
end 


在 交互 式 Elixir 环 境 iex (Elixir 版 的 REPL ) 中 运行 这 段 代 码 : 


liex(1)> counter = Spawn(Counter，:Loop，[1]) 
#PID<0 ,47 .0> 

Iex(2)> send(counter, {:next}) 
Current count: 1 

{:next} 

Iex(3)> send(counter, {:next}) 
{:next} 

Current count: 2 

Iex(4)> send(counter, {:next}) 
{:next} 

Current count: 3 


这 段 代 人 码 使 用 了 接受 三 个 参数 的 spawn() : 第 一 个 是 模块 名 ， 第 二 个 是 模块 中 的 函数 名 ， 
三 个 是 参数 列表 。 用 这 个 版 本 的 spawn ( ee ()。 ee 
每 发 送 一 个 {:next} 消 息 ， 这 个 actor 就 会 输出 一 个 不 同 的 计数 一 一 有 状态 的 actor 并 没有 使 用 可 变 
量 。 由 于 这 个 actor 是 串 行 处 理 消 息 的 ， 因 此 actor 可 以 安全 地 访问 其 状态 ， 而 不 会 引发 并 发 问题 。 


用 API 隐 茂 消 息 细 有 


Counter 已 经 可 以 使 用 了 ,但 并 不 方便 。 我 们 需要 记 住 传 给 spawn( ) 的 参数 是 什么 以 及 消息 
的 细 市 (是 {:next}、:next 还 是 {:increment}? )。 为 了 避免 这 些 麻烦 ， 可 以 将 spawn() 的 调 
用 和 消息 的 细 届 全 部 隐藏 到 一 组 API 喘 数 中 : 


Actors/counter/counter.ex 
defmodule Counter do 


def start(count) do 
spawn( MODULE , :loop, [count]) 
end 


def next (counter) do 
send(counter, {:next}) 


Vvvyvyv 
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> end 
def loop(count) do 
receive do 
{:next} -> 
IO.puts("Current count: #{count}") 
loop(count + 1) 
end 
end 
end 


start() 的 实现 用 到 了 伪 交 量 MODULE ， 其 值 是 当前 模块 的 名 字 。 这 样 的 APIiFactor 的 使 用 
变 得 更 简 洛 并 且 不 易 出 错 : 


1iex(1)> counter = Counter .start(42) 
#PID<0.44.0> 

Iex(2)> Counter.next(counter) 
Current count: 42 

{:next} 

Iex(3)> Counter.next(counter) 
{:next} 

Current count: 43 


仪 输 出 状态 的 actor 没 有 什么 实用 性 。 下面 来 看 看 如 何 让 两 个 actor 进 行 双 癌 通信 ， 让 一 个 actor 
可 以 获取 男 一 个 actor 的 状态 。 


双 回 通信 


之 前 提 到 过 9 县 -个 消息 LU 的 
回复 呢 ? 人 JE ne 
会 怎样 呢 ? 


actor 模 型 没有 提供 直接 回复 消息 的 机 制 , 但 我 们 可 以 目 行 解决 : 将 发 送 进程 的 标识 符 包 含 在 
消息 中 。 通 过 这 个 机 制 ， 消 息 的 接收 者 可 以 回复 消息 : 


4 怎 和 2 


Actors/counter/counter2.ex 


defmodule Counter do 
def start(count) do 
spawn( MODULE , :loop, [count]) 
end 
def next(counter) do 


> ref = make ref() 
> send(counter, {:next, self(), ref}) 
> receive do 
> {:ok, ^ref, count} -> count 
> end 
end 


def loop(count) do 
receive do 
{:next, sender, ref} -> 
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> send(sender, {:ok, ref, count}) 
loop(count + 1) 
end 
end 
end 


这 个 版 本 不 再 输出 当前 计数 ， 而 是 将 当前 计数 返回 给 发 送 者 ,返回 的 消息 类 似 于 下 面 的 三 
元 组 : 


{:ok, ref, count} 
ref 是 发 送 者 用 make_ref() 生 成 的 唯一 引用 。 
来 验证 一 下 : 


lex(1)> counter = Counter.start(42) 
#PID<0 .47 .0> 

Iex(2)> Counter.next(counter ) 

42 

Iex(3)> Counter .next(counter ) 

43 


现在 可 以 为 Counter 的 进程 命名 ， 这 样 就 可 以 通过 名 称 查 找到 对 应 的 进程 。 


小 乔 爱 问 : 
交 为 什么 回复 的 是 一 个 元 组 ? 


在 我 们 改造 的 Counter 中 可 以 不 回复 一 个 元 组 ， 而 只 回复 计数 即 可 : 


{:next, sender} -> 
send(sender, count) 


这 是 正确 的 ， 但 Elixir 习 惯用 元 组 作为 消息 ， 且 第 一 个 元 素 表 示 消 息 处 理 是 成 功 的 还 是 


失败 的 。 本 例 中 的 消息 还 带 有 发 送 者 生成 的 唯一 引用 ,这样 如 果 多 个 消息 到 达 信 箱 中 ，actor 
就 可 以 通过 这 个 唯一 引用 来 区 分 这 些 消息 ， 


为 进程 命名 


将 一 个 消息 发 送 给 某 个 进程 时 , 需要 知道 进程 的 标识 符 。 如 采 是 我 们 日 己 创建 的 进程 ， 那 不 
会 有 什么 问题 。 但 如 果 要 疝 一 个 别人 创建 的 进程 发 送 消息 呢 ? 


这 个 问题 可 以 用 多 种 方法 解决 ， 最 简单 的 方法 就 是 为 进程 命名 : 


iex(1)> pid = Counter.start(42) 
#PID<0 .47 .0> 

iex(2)> Process.register(pid, :counter) 
true 
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iex(3)> counter = Process .whereis(:counter) 
#PID<0 .47 .0> 
Iex(4)> Counter.next(counter ) 


42 


上 面 的 代码 用 Process .register() 为 进程 命名 ， 


iex(5)> Process.registered 

[:kernel sup, :init, :code server, :user, 
‘global name server, :application controller, 
:kernel safe sup, :standard error, :global group, 
:elixir counter, :counter, :elixir code server, 
:rex, :inet db] 


可 以 看 到 虚拟 机 在 启动 时 已 
程 变量 ， 现 在 也 可 以 使 用 进程 名 称 : 


liex(6)> send(:counter, {:next, self(), make ref()}) 
{:next, #PID<0.45.0>, #Reference<0.0.0.107>} 


iex(7)> receive do msg -> msg end 
{:ok, #Reference<0.0.0.107>, 43} 


续 简 化 Counter 的 API， 使 其 不 再 使 用 进程 


笃 命名 了 很 多 


Actors/counter/counter3.ex 
def start(count) do 


pid = spawn( MODULE , :loop, [count]) 
> Process.register(pid, :counter) 
pid 
end 
def next do 
ref = make ref() 
> send(:counter, {:next, self(), ref}) 


receive do 


{:ok, 人 ^ref, count} -> count 
end 
end 
来 验证 一 下 


liex(1)> Counter.start(42) 
#PID<0 .47.0> 

Iex(2)> Counter.next 

42 

Iex(3)> Counter.next 

43 


今天 的 学 习 接 近 尾 声 。 先 进行 一 人 1 
浮 数 ， 类 似 于 Clojure 的 pmap。 


个 茶 葡 ， 茶 葡 后 我 们 将 应 


并 用 Process .whereis() 按 名 称 查 找 进 


通过 Process .registered() 可 以 查看 已 被 命名 的 所 有 进程 : 


:Standard error sup, 
:file server 2， 
:error Logger， 
:erL_prim Loader， 


:USer dryv, 


‘elixir sup, 


多 基本 进程 。 之 前 使 用 send ( ) 函数 时 ， 其 参数 是 进 


S 


变量 作为 参数 : 


中 用 所 学 的 知识 来 构造 一 个 并 行 map 
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AN 


从 欧 


疯 数 是 第 一 类 对 象 

与 所 有 也 数 式 语言 一 样 ，Elixir 中 的 函数 是 第 一 类 对 象 一 一 函数 可 以 被 绑 定 到 变量 上 ， 可 以 
作为 函数 参数 ， 与 数据 没什么 区 别 。 举 例 说 明 ， 用 iex 展 示 一 下 如 何 将 匿名 函数 作为 参数 传 给 
Enum.map， 使 数组 中 每 个 元 素 增 倍 : 


iex(1)> Enum.map([1, 2, 3, 4], fn(x) -> x * 2 end) 
[2, 4, 6, 8] 


类 似 于 Clojure 的 #(...) 宏 ，Elixir 也 提供 了 定义 匿名 函数 的 快捷 方式 &(... ): 


iex(2)> Enum.map([1, 2, 3, 4], &(&l1 * 2)) 


Ss 


[2, 4, 6, 8] 
Iex(3)> Enum.reduce([1, 2, 3, 4], 0, &(&l1 + &2)) 
10 


如 果 函 数 被 绑 定 到 了 一 个 变量 上 ， 可 以 用 .操作 符 来 调用 该 变量 代表 的 函数 : 


iex(4)> double = A(&1L * 2) 
#Function<erl eval.6.80484245> 
iex(5)> double. (3) 

6 


岩 来 看 一 个 返回 函数 的 函数 : 


iex(6)> twice = fn(fun) -> fn(x) -> fun. (fun. (x)) end end 
#Function<erl eval.6.80484245> 

iex(7)> twice. (double). (3) 

12 


现在 已 经 准备 好 了 创建 并 行 mnap() 的 所 有 工具 ， 只 剩 下 组 效 耳 。 


并 行 map 函 数 


之 前 已 经 用 过 了 Elixir 提 供 的 map() 函 数 , 它 可 以 对 一 个 集合 施加 映射 操作 , 不 过 是 串 行 执行 
的 。 下 面 我 们 将 其 改造 成 能 并 行 处 理 集合 的 每 个 元 系 : 


Actors/parallel/parallel.ex 
defmodule Parallel do 
def map(collection, fun) do 
parent = self() 


processes = Enum.map(collection, fn(e) -> 
spawn link(fn() -> 
send(parent, {self(), fun. (e)}) 
end) 
end) 


Enum.map(processes, fn(pid) -> 
receive do 
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{^pid, result} -> result 
end 
end) 
end 
end 


这 有 段 代码 分 为 两 个 阶段 。 第 一 阶段 ,为 集合 的 每 个 元 素 创 建 一 个 进程 ( 如 果 集 合 有 1000 个 元 
素 , 将 创建 1000 个 进程 ) 每 个 进程 对 相应 元 素 施 加 fun 函 数 , 并 向 发 送 消 息 的 父 进程 回复 施加 隐 
数 的 结果 。 第 二 阶段 ， 父 进程 等 每 所 有 了 于 进程 的 结 


来 验证 一 下 : 


iex(1)> slow double = fn(x) -> :timer.sleep(1000); x * 2 end 
#Function<6.80484245 in :erl eval.expr/5> 

iex(2)> :timer.tc(fn() -> Enum.map([1, 2, 3, 4], slow double) end) 
{4003414, [2, 4, 6, 8]} 

iex(3)> :timer.tc(fn() -> Parallel.map([1, 2, 3, 4], slow double) end) 
{1001131, [2, 4, 6, 8]} 


这 段 代 码 用 到 了 :timer.tc() 也 数 ,其 对 参数 函数 的 运行 时 间 进 行 统 计 , 并 返回 一 个 二 元 组 ， 
第 一 个 元 素 是 运行 时 间 ， 第 二 个 元 素 是 参数 也 数 的 返回 值 。 可 以 看 到 串 行 版 本 运行 了 4 秒 ， 而 并 
行 版 本 运行 了 1 秒 。 


一 天 总 结 


第 一 天 的 学 习 结 束 了 。 第 二 天 我 们 将 学 习 actor 模 型 的 错误 处 理 和 容错 性 。 

第 一 天 我 们 学 到 了 什么 

多 个 actor ( 进程 ) 可 以 同时 和 运行、 不 共享 状态 、 通 过 回信 箱 异 步 地 发 送 消息 来 进行 通信 。 本 
昔 中 我 们 学 习 如 何 实现 下 列 任 务 : 

口 用 spawn() 创 建新 进程 ; 

口 用 send() 癌 进程 发 送 消 息 ; 

口 通过 模式 匹配 来 处 理 消息 

口 连接 两 个 进程 ， 当 一 个 进程 吉 束 时 ， 另 一 个 进程 将 接收 到 通知 ; 

口 在 异步 通信 的 基础 上 ， 实 现 双向 的 同步 通信 

口 为 进程 命名 。 

一 天 自习 
查找 


口 阅读 Elixif 的 孙 数 库 文档 。 
口 观看 Erik Meijer、Clemens Szyperski 和 Carl Hewitt 在 Lang.NEXT 2012 上 关于 actor 模 型 的 对 
话 视频 。 
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实践 


口 测量 在 Erlang 虚 拟 机 上 创建 一 个 进程 的 成 本 , 且 与 在 JVM 上 创建 一 个 线程 的 成 本 进行 比较 。 

口 测量 之 前 的 并 行 map 函 数 的 成 本 , 上 且 与 串 行 map 函 数 的 成 本 进行 比较 。 何 时 应 使 用 并 行 map 
国 数 ， 何 时 应 使 用 串 行 map 顺 数 ? 

口 参考 之 前 的 并 行 map 国 数 ， 写 一 个 并 行 reduce 羡 数 。 


5.3 ”第 二 天 : 错误 处 理 和 容错 性 


在 1.3 节 已 提 到 过 : 并 发 很 重要 的 一 个 特性 是 并 发 代码 具有 容错 性 。 今 天 就 来 学 习 actor 模 型 
提供 的 容错 性 


过 首先 要 利用 昨天 的 知识 创建 一 个 较 复杂 的 贴近 现实 的 例子 ， 之 后 的 讨论 将 在 此 基础 上 


一 个 缓存 actor 


本 市 将 创建 一 个 网 页 缓存 : 丫 缓 存 添加 页 面 时 , 需 提 供 URL 以 及 页 面 文本 ; 癌 绥 存 请 求 页 面 
时 ， 知 提供 URL; 也 可 以 查看 绥 存 一 共 包 含 了 多 少 个 子 廊 。 


我 们 需要 一 个 字典 ,这 个 字典 包含 了 URL 到 页 面 的 上 映射。 与 Clojure 的 map 类 似 ，Elixir 的 字典 
-个 关联 型 的 持久 数据 结构 : 


iex(1)> d = HashDict.new 

#HashDict<[]> 

iex(2)> dl = Dict.put(d, :a, "A value for a") 
#HashDict<[a: "A value for a"]> 

iex(3)> d2 = Dict.put(d1l, :b, "A value for b") 
#HashDict<[a: "A value for a", b: "A value for b"]> 
iex(4)> d2[:al 

"A value for a" 


喇 


使 用 HashDict.new 可 以 创建 新 的 字典 ,使 用 Dict.put(dict，key，value) 可 以 向 其 中 添 
加 元 素 ， 使 用 dict[key] 可 以 从 其 中 查找 元 素 。 


利用 字典 可 以 实现 缓存 : 


Actors/cache/cache.ex 


Line1 defmodule Cache do 
def loop(pages, size) do 
receive do 
{:put, url, page} -> 
5 new pages = Dict.put(pages, url, page) 
new size = size + byte size(page) 
loop(new pages, new size) 
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{:get, sender, ref, url} -> 
- send(sender, {:ok, ref, pages[url]}) 
10 loop(pages, size) 
{:size, sender, ref} -> 
send(sender, {:ok, ref, size}) 
loop(pages, size) 
- {:terminate} -> # 终止 信号 - 终止 递归 
15 end 
end 
- end 


这 个 缓存 维护 了 两 个 状态 : pages 和 size。pages 是 将 UREL 映 射 到 页 面 的 字典 ;size 是 当前 
缓存 的 所 有 字 节 数 (在 第 6 行 由 byte size() 更 新 )。 


与 之 前 一 样 ， 我 们 仍 用 API 来 隐藏 创建 进程 和 发 送 消息 的 细节 。 下 面 的 代码 用 于 创建 
start Link() 困 数 : 


Actors/cache/cache.ex 
def start Link do 


pid = spawn Link( MODULE , :loop, [HashDict.new, 0]) 
Process.register(pid, :cache) 
pid 

end 


这 段 代 码 用 空 字典 和 0 作为 Loop() 的 初始 值 , 并 将 进程 命名 为 :cache。 下面 的 代码 用 于 创建 
put()、get()、size() 和 terminate() 滑 数 ; 


Actors/cache/cache.ex 


def put(url, page) do 
send(:cache, {:put, url, page}) 
end 


def get(url) do 
ref = make ref() 
send(:cache, {:get, self(), ref, url}) 
receive do 
{:ok, ^ref, page} -> page 
end 
end 
def size do 
ref = make ref() 
send(:cache, {:size, self(), ref}) 
receive do 
{:ok, ^ref, s} -> s 
end 
end 


def terminate do 
send(:cache, {:terminate}) 
end 
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put() 和 terminate() 函数 只 是 简单 地 将 参数 包装 在 元 组 中 ,并 将 元 组 作为 消息 发 送 。 而 get ( ) 
和 size() 了 因数 比较 复 杀 ， 因 为 它们 需要 等 符 一 个 消息 的 回复 。 本 例 中 ， 这 两 个 咀 数 和 都 在 消息 中 
审 有 唯一 引用 ， 正 如 我 们 昨天 学 过 的 那样 。 


来 运行 一 下 这 个 actor: 


iex(1)> Cache.start link 

#PID<0 .47.0> 

iex(2)> Cache.put("google.com", "Welcome to Google ...") 
{:put, "google.com", "Welcome to Google ..."} 

iex(3)> Cache.get("google.com") 

"Welcome to Google ..." 

iex(4)> Cache. size() 

21 


一 切 顺利 一 一 现在 已 经 可 以 向 缓存 中 添加 数据 、 取 出 数据 ， 还 能 查看 缓存 的 大 小 。 
如 果 使 用 一 些 非法 参数 呢 ? 比如 使 用 niL 作 为 页 面 : 


iex(5)> Cache.put("paulbutcher.com", nil) 

{:put, "paulbutcher.com", nil} 

liex(6)> 

=ERROR REPORT==== 22-Aug-2013::16:18:41 === 

Error in process <0.47.0> with exit value: {badarg,[{erlang,byte size, [nil],[]} … 


** (EXIT from #PID<0.47.0>) {:badarg, [{:erlang, :byte size, [nil], [1]}, 

不 出 所 料 ， 因 为 没有 检查 参数 ， 所 以 这 次 运行 失败 了 。 在 大 多 数 语言 中 ,唯一 的 处 理 方法 是 
添加 一 些 检 查 参 数 的 代码 ， 当 检查 到 非法 参数 时 报错 。Elixir 提 供 了 另 一 种 方法 一 一 将 错误 处 理 
隔离 到 一 个 管理 进程 中 。 这 个 方法 看 似 简单 , 却 是 一 个 很 大 的 改进 , 使 代码 更 简洁 、 更 具 维 护 性 ， 
也 更 可 靠 。 


在 学 习 如 何 写 管理 进程 之 前 ， 必 须 详细 了 解 进程 之 间 的 连接 。 


铬 误 检 测 

在 5.2 节 中 ， 我 们 用 spawn_Link() 建 立 两 个 进程 之 间 的 连接 ， 这 样 就 可 以 检测 到 某 一 个 进程 
的 终止 。 连 接 是 Elixir 编 程 中 最 重要 的 概念 之 一 一 一 现在 就 来 深入 了 解 。 

进程 的 异常 终止 通过 连接 进行 传播 


任何 时 候 都 可 以 用 Process .1link() 在 两 个 进程 之 间 建 立 连接 。 下 面 定义 一 个 简单 的 actor， 
用 来 讨论 连接 的 原理 . 


Actors/links/links.ex 
defmodule LinkTest do 
def loop do 
receive do 
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{:exit because, reason} -> exit(reason) 
{:link to, pid} -> Process.\link(pid) 
{:EXIT, pid, reason} -> I0.puts("#{inspect(pid)} exited because #{reason}") 


end 
Loop 
end 
end 
现在 创建 这 个 actor 的 两 个 实例 ， 将 这 两 个 进程 连接 起 来 ， 并 让 其 中 一 个 异 稼 终止 : 


iex(1)> pidl = spawn(&SLinkTest.Loop/0) 

#PID<0 .47.0> 

iex(2)> pid2 = spawn(&SLinkTest.Loop/0) 

#PID<0 .49 ,0> 

iex(3)> send(pidl, {:link to, pid2}) 

{:link to, #PID<0.49.0>} 

iex(4)> send(pid2, {:exit because, :bad thing happened}) 
{:exit because, :bad thing happened} 


这 段 代 码 首 先 创 建 了 actor 的 两 个 实例 ， 将 其 进程 标识 分 别 绑 定 到 pid1 和 pid2。 然 后 创建 从 


pid1 到 pid2 的 连接 。 最 后 让 pid2 的 进程 异 稼 终止 。 


pid1 本 应 打印 pid2 异 稼 终止 的 原因 ， 但 我 们 注意 到 pid1 并 没有 输出 ， 原 因 是 没有 设 


置 :trap _ exit。 另外 ， 如 果 用 Process,info() 查 看 两 个 进程 的 状态 ， 会 看 到 以 下 现象 : 


修复 


iex(5)> Process.info(pid2, :status) 
nil 
iex(6)> Process.info(pidl, :status) 
nil 


这 样 一 来 不 只 是 pid2 终 止 , 而 是 两 个 进程 那 终止 了 。 我 们 先 来 做 为 一 个 试验 , 再 来 学 习 如 何 


这 个 问题 。 
连接 是 双向 的 
如 果 重 复 上 面 的 试验 ， 让 pid1 终 止 ， 就 会 看 到 同样 的 结果 一 一 两 个 进程 都 终止 了 : 


iex(1)> pidl = spawn(&SLinkTest.Loop/0) 
#PID<0 .47 .0> 

iex(2)> pid2 = spawn(&SLinkTest.Loop/0) 
#PID<0 .49 ,0> 

iex(3)> send(pidl, {:link to, pid2}) 

{:Link to, #PID<0.49.0>} 

iex(4)> send(pidl, {:exit because, :another bad thing happened}) 
{:exit because, :another bad thing happened} 
iex(5)> Process.info(pidl, :status) 

nil 

iex(6)> Process.info(pid2, :status) 

nil 


可 见 连 接 是 双向 的 。 建 立 了 从 pid1 到 pid2 的 连接 的 同时 ， 也 就 建立 了 从 pid2 到 pid1 的 连 


接 一 一 所 以 如 果 其 中 一 个 进程 终止 ， 那 么 两 个 进程 就 都 终止 了 。 
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如 果 尝 试 让 已 经 连接 的 一 个 进程 正常 终止 ( 用 :normal 这 个 理由 退出 进程 )， 会 观察 到 以 下 
现象 : 


iex(1)> pid1 
#PID<0 .47 .0> 
iex(2)> pid2 = spawn(&LinkTest.Tloop/0) 
#PID<0 .49 .0> 

iex(3)> send(pidl, {:link to, pid2}) 

{:link to, #PID<0.49.0>} 

iex(4)> send(pid2, {:exit because, :normal}) 
{:exit because, :normal} 

iex(5)> Process.info(pid2, :status) 

nil 

iex(6)> Process.info(pidl, :status) 
{:status, :waiting} 


可 见 进 程 正常 终止 是 不 会 让 连接 的 为 一 个 进程 终止 的 。 


spawn (&LinkTest. loop/0) 


通过 设置 进程 的 :trap exit 标识， 可 以 让 一 个 进程 捕获 另 一 个 进程 的 终止 消息 。 用 专业 术 
语 来 说 ， 这 是 将 进程 转化 为 系统 进程 


Actors/links/links.ex 


def loop system do 
Process.flag(:trap exit, true) 
Loop 

end 


来 测试 一 下 : 


iex(1)> pidl = spawn(&LinkTest,.Loop_system/0 ) 
#PID<0 .47.0> 
iex(2)> pid2 
#PID<0 .49 .0> 
iex(3)> send(pidl, {:link to, pid2}) 

{:link to, #PID<0.49.0>} 

iex(4)> send(pid2, {:exit because, :yet another bad thing happened}) 
{:exit because, :yet another bad thing happened} 

#PID<0 .49.0> exited because yet another bad thing happened 

iex(5)> Process.info(pid2, :status) 

nil 

iex(6)> Process.info(pidl, :status) 

{:status, :waiting} 


现在 ， 可 以 用 Loop system 启 动 pid1。 当 pid2 终 止 时 ，pid1 会 得 到 消息 (并 打印 退出 的 消 
息 )， 并 且 会 继续 运行 。 


spawn(SLinkTest,Loop/0) 
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管理 进程 

我 们 已 经 准备 好 实现 一 个 进程 管理 者 ( 也 就 是 一 个 系统 进 
当 工 作 进 程 前 溃 时 进行 干预 。 

下 面 的 代码 为 前 述 的 缓存 actor 创 建 一 个 管理 者 ， 当 缓存 进 


Actors/cache/cache.ex 


defmodule CacheSupervisor do 
def start do 


spawn( MODULE , :loop system, []) 
end 
def loop do 

pid = Cache.start link 


receive do 
{:EXIT, ^pid, :normal} -> 
I0.puts("Cache exited normally") 
:Ok 
{:EXIT, 


^pid, reason} -> 


I0.puts("Cache failed with reason #{inspect reason} - 


Loop 

end 

end 

def Loop System do 
Process.flag(:trap exit, true) 
Loop 

end 

end 


这 个 actor 将 目 己 转化 为 系统 进 


Loop () 进 行 递 归并 重新 创建 缓存 进 程 。 


现在 不 必 和 直接 启动 Cache 实 例 ， 而 是 启动 CacheSupervisor， 其 将 负 


iex(1)> CacheSupervisor.start 
#PID<0 .47 .0> 


iex(2)> Cache.put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
iex(3)> Cache.size 
21 


如 末 绥 存 朋 沉 ， 就 会 被 自动 重启 : 


iex(4)> Cache.put("paulbutcher.com", nil) 


{:put, "paulbutcher.com", nil} 

Cache failed with reason {:badarg, [{:erlang, :byte size, [ 
lex(5)> 

=ERROR REPORT==== 22-Aug-2013::17:49:24 === 


Error in process <0.48.0> with exit value: 


iex(5)> Cache. size 
0 


{tbadarg, [{erLang， 


并 程 )， 它 管理 春 右 干 个 工作 进程 


间 程 朋 尝 时 ， 管 理 者 会 将 其 重启 : 


restarting it") 


程 , 并 进入 Loop()。tLoop() 创 建 了 Cache.tLoop () 进 程 , 并 一 
直 阻 塞 ,直到 所 创建 的 进程 终止 。 该 进程 若是 正常 终止 ， 则 管理 者 也 正常 终止 (返回 :ok )， 


否则 


责 创 建 Cache 实 例 ; 


nil], [1}, 


byte size, [nil],[]}, 
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iex(6)> Cache.put("google.com", "Welcome to Google ...") 
{:put, "google.com", "Welcome to Google ..."} 

iex(7)> Cache.get("google.com") 

"Welcome to Google ..." 


虽然 缓存 月 演 时 我 们 会 丢失 之 前 的 数据 ， 但 至 少 得 到 了 一 个 月 尝 后 可 以 继续 使 用 的 缓存 。 

超时 

将 缓存 自动 重启 是 个 不 错 的 方法 , 但 并 不 是 万 能 药 。 如 果 两 个 进程 同时 问 缓 存 发 送 消息 ， 下 
面 这 些 事 件 会 依次 发 生 : 

(1) 进程 1 回 缓 存 发 送 :put 消 息 ; 

(2) 进程 2 回 缓 存 发 送 :get 消 息 ; 

(3) 绥 存 在 处 理 进程 1 的 消息 时 前 演 了 ; 

(4) 宫 理 痢 将 绥 存 晶 司 ， 但 进程 2 的 注 号 于 大 本 

(5) 进程 2 在 receive 处 陷入 死 锁 ， 一 直 在 等 待 消息 的 回复 ， 但 这 个 回复 永远 不 会 发 送 。 

我 们 可 以 用 after 语 句 来 为 receive 增 加 超时 机 制 ， 这 需要 修改 一 下 get() (size() 函 数 也 
需要 同样 的 修改 ): 


Actors/cache/cache2.ex 


def get(url) do 
ref = make ref() 
send(:cache, {:get, self(), ref, url}) 
receive do 

{:ok, ^ref, page} -> page 
> after 1000 -> nil 

end 

end 


WW 小 乔 爱 问 : 
寺 消息 是 否 保证 能 被 送 达 ? 


Ye 


3 
Elixir 是 否 能 确保 消息 一 定 能 被 送 达 并 被 处 理 ? 


Elixir 有 两 个 规则 : 
口 如 果 没 有 异常 发 生 ， 消 息 一 定 和 月 ee 
异常 一 定 会 通知 到 使 用 者 (假设 使 用 者 已 经 连接 到 或 正在 管 
理发 生 异 第 的 进程 ) 


第 二 条 规则 是 Elixir 提供 容错 性 的 基石 。 
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错误 处 理 内 核 (error-Kernel) 模式 
Tony Hoare 有 一 名 名言”。 
软件 设计 有 两 种 方式 : 一 种 方式 是 ,使 软件 过 于 简单 ， 明 显 地 没有 缺陷 ; 另 一 种 方 
式 是 ， 使 软件 过 于 复杂 ， 没 有 明显 的 缺陷 。 
actor 提 供 了 一 种 容错 的 方式 : 错误 处 理 内 核 模式 ， 在 两 者 之 间 找 到 了 平衡 。 


一 个 软件 系统 如 来 应 用 了 错误 处 理 内 核 模 式 ， 那 么 该 系统 正确 运行 的 前 提 是 其 错误 处 理 内 核 必 
须 正确 运行 。 成熟 的 程序 通常 使 用 尽 可 能 小 而 简单 的 错误 处 理 内 核 一 一 小 而 简单 到 明显 地 没有 缺陷 。 

对 于 一 个 使 用 actor 模 型 的 程序 ， 其 错误 处 理 内 核 是 顶层 的 管理 者 ,管理 春子 进程 一 一 对 子 进 
程 进行 局 动 、 保 止 、 重 局 等 操作 。 

程序 的 每 个 模块 那 有 目 己 的 错误 处 理 内 核 一 一 模 英 正确 运行 的 前 提 是 其 错误 处 理 内 核 必须 
正确 运行 。 子 模块 也 会 有 目 己 的 错误 处 理 内 核 ， 以 此 类 推 。 这 就 构成 了 错误 处 理 内 核 的 层级 树 ， 
较 人 危险 的 操作 部 会 被 下 放 给 的 层 的 actor 执 行 ， 如 图 5-2 所 示 。 


[_] 管理 者 
(O 〇 工作 进程 


图 5$-2 ”错误 处 理 的 层级 树 
错误 处 理 内 核 模式 主要 解决 了 防御 式 编程 中 磁 到 的 一 些 杯 手 问 题 。 


8 


任 其 朋 演 


防御 式 编程 主要 通过 预言 可 能 出 现 的 缺陷 来 实现 容错 性 。 举 例 说 明 , 假设 有 一 个 函数 ,其 接 


习 


GD http:/zoo.cs.yale.edu/classes/cs422/2011/bib/hoare8lemperorpdf 
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受 一 个 字符 串 ， 当 字符 串 全 是 大 写 时 返回 true， 和 否则 返回 faLse。 先 草拟 一 个 版 本 : 
def all _ upper?(S) do 
String.upcase(s) == S 
end 
看 上 去 不 错 ， 但 如 采 传 入 nil 作 为 参数 ， 这 段 代 人 码 将 月 淄 。 为 了 解决 这 个 问题 ， 有 些 程 序 员 
就 对 其 进行 了 如 下 修改 : 


defmodule Upper do 
def all upper?(s) do 


cond do 
nil?(s) -> false 
true -> String.upcase(s) == 5 
end 
end 


end 


现在 再 磁 到 nil 作 为 参数 时 ， 代 码 束 不 会 月 沉 了 ,但 如 果 传 人 男 一 些 不 按 套 路 出 牌 的 参数 呢 
(比如 一 个 关键 字 )? 使 用 nil 作 为 参数 对 这 个 函数 是 否 真 的 有 意义 ?这样 修改 代码 很 有 可 能 会 引 
发 一 个 缺陷 一 一 只 是 我 们 暂时 隐藏 了 这 个 缺陷 ,之 后 也 很 难 意 识 到 其 存在 , 但 总 有 一 天 它 会 跳 起 
来 咬 我 们 一 器 O 

使 用 actor 模 型 的 程序 并 不 进行 防御 式 编 程 ， 而 是 遵循 “ 任 其 朋 沉 ”的 哲学 ， 让 actor 的 管理 者 
来 处 理 这 些 问题 。 这 样 做 有 几 个 好 处 ， 比 如 : 

口 代码 会 变 得 更 加 简洁 且 和 容易 理解 ， 可 以 清晰 区 分 出 “一 帆 风 顺 ” 的 代码 和 容错 代码 ; 

口 多 个 actor 之 间 是 相互 独立 的 ， 并 不 共享 状态 ， 因 此 一 个 actor 的 骨 演 不 太 会 现 及 到 其 他 

actor。 尤 其 重要 的 是 一 个 actor 的 朋 演 不 会 影响 到 其 管理 者 ， 这 样 管理 者 才能 正确 处理 此 


次 月 尝 ; 
口 管理 者 也 可 以 选择 不 处 理 骨 当 ， 而 是 记录 骨 尝 的 原因 ， 这 样 我 们 就 会 得 到 月 尝 通 知 并 进 
行 后续 处 理 。 


虽然 第 一 眼看 上 去 “ 任 其 居 尘 ”的 哲学 有 点 奇怪 ,但 它 和 错误 处 理 内 核 模式 都 在 产品 环境 上 
反复 进行 过 验证 ,一 些 系统 的 可 用 性 据说 提高 到 了 99.9999999%( 9 个 9, 参见 Programming Erlang: 
Sofitware for a Concurrent World [Arm13] ) 


入/ = 士 
第 二 天 总 结 


我 们 第 一 天 学 习 了 actor 模 型 的 基础 知识 , 第 二 天 学 习 了 actor 模 型 如 何 进 行 容错 。 第 三 天 将 学 
习 如 何 用 actor 模 型 进行 分 布 式 编程 。 


(该 书 中 文 版 《Erlang 程 序 设计 (第 2 版 )》 已 由 人 民 邮 电 出 版 社 出 版 : http://www.ituring.com.cn/book/1264。 
一 一 编者 注 


120 第 $5 章 Actor 


第 二 天 我 们 学 到 了 什么 
Elixir 通 过 创建 管理 者 并 使 用 进程 的 连接 来 进行 容错 : 


口 连接 是 双向 的 一 一 如 果 进 程 4 连 接 到 进程 5p， 那么 进程 b 也 连接 到 进程 a; 

口 连接 可 以 传递 错误 一 一 如 有 果 两 个 进程 已 经 连接 ， 其 中 一 个 进程 异常 终止 ， 那么 男 一 个 进 
程 也 会 异常 终止 ; 

口 如 条 进程 被 转化 成 系统 进程 ， 当 其 连接 的 进程 异 向 终止 时 ， 系 统 进 程 不 会 终止 ， 而 是 会 
收 到 :EXIT 消息 。 


第 二 天 自习 
查找 


口 阅读 Process .monitor() 的 相关 文档 一 一 管理 一 个 进程 与 连接 一 个 进程 有 什么 区 别 ? 何 
时 使 用 管理 ， 何 时 使 用 连接 ? 

口 Elixir 是 如 何 进行 异常 处 理 的 ? 何 时 应 该 使 用 异常 处 理 ， 而 不 使 用 管理 者 和 “ 任 其 崩 演 ” 
的 哲学 呢 ? 

实践 

口 在 receive 块 中 ,如 果 一 个 消息 没 法 匹配 到 任何 模式 , 将 会 被 留 在 进程 的 信箱 中 。 利 用 这 
个 特性 和 超时 特性 ， 实 现 一 个 有 优先 级 的 信箱 ， 即 使 低 优先 级 的 消息 可 能 比 高 优先 级 的 
消息 更 早 地 被 接收 ， 但 高 优先 级 的 消息 会 比 低 优先 级 的 消息 更 早 地 被 处 理 。 

口 改进 今天 开篇 介绍 的 缓存 actor, 根据 hash 哨 数 将 缓存 元 素 分 配 到 多 个 actor 中 。 创建 一 个 管 
理 actor， 其 负责 创建 多 个 工作 actor, 并 将 消息 转发 给 对 应 的 工作 actor。 如 果 一 个 工作 actor 
朋 泪 ， 管 理 actor 应 该 怎么 办 ? 
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到 目前 为 止 我 们 学习 的 所 有 知识 都 只 文 持 一 台 计 算 机 , 相 比 于 已 经 学 习 过 的 并 发 模型 ，actor 
模型 的 一 个 很 大 的 优点 是 其 支持 分 布 式 一 一 它 可 以 将 消息 发 送 到 男 一 台 计 算 机 上 的 actor, 束 像 发 
送 到 本 地 计算 机 上 的 actor 一 样 。 


讨论 分 布 式 之 前 ， 要 了 解 Elixir 提 供 的 一 个 强大 的 工具 一 一 OTP。 


OTP 


过 去 两 大， 我 们 都 在 用 “原始 ”的 Elixir 进 行 演 示 。 这 有 利于 我 们 理解 其 运行 机 制 ,但 如 来 
用 原始 的 方式 创建 每 一 个 工作 进程 和 管理 者 , 那 就 会 变 得 非常 无 趣 且 容易 出 错 。 讲 到 这 里 你 肯定 
至 到 了 我 们 将 要 介绍 一 个 能 解决 这 个 问题 的 库 一 一 OTP。 
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WW 小 乔 爱问 : 
过 ” ”OTP 代表 了 什么 ? 


缩写 单词 通常 只 为 自己 代言 。IBM 字面 上 是 International Business Machines 的 缩写 ， 但 
对 于 大 多 数 人 来 说 IBM 就 是 IBM: 缩写 就 是 约定 俗 成 的 名 称 。 类 似 地 , BBC 也 不 再 是 British 
Broadcasting Corporation 的 缩写 ，OTP 也 不 再 是 Open Telecom Platform 的 缩写 。 

Erlang (包括 Elixir) 最 初 是 从 电信 业 发 展 起 来 的 ， 许 多 Erlang 的 最 佳 实践 都 被 收录 到 
了 OTP 中。 但 OTP 不 是 电信 业 专 用 的 ，OTP 就 是 OTP。 


在 学 习 OTP 之 前 ， 先 来 看 看 在 Elixir 中 消 数 与 模式 匹配 是 如 何 交 互 的 。 
痕 数 与 模式 匹配 


之 前 我 们 仪 在 介绍 receive 块 时 提 到 过 模式 匹配 , 然而 在 Elixir 中 模式 匹配 随处 可 见 。 值得 强 
调 的 是 ， 每 次 调用 哺 数 时 ， 其 实 都 在 进行 模式 匹配 。 用 一 个 简单 的 函数 来 举例 : 


Actors/patterns/patterns.ex 


defmodule Patterns do 
def foo({x, y}) do 5 
IO.puts("Got a pair, first element #{x}, second #{y}") 
end 
end 


这 段 代 码 定义 了 一 个 也 数 ， 其 接受 一 个 参数 ， 并 用 模式 {x，y} 匹 配 这 个 参数 。 如 果 用 一 个 
二 元 组 进行 匹配 ， 那 么 二 元 组 的 第 一 个 元 系 会 估 定 到 x 上 ， 第 二 个 元 系 会 绑 定 到 y 上 : 
liex(1)> Patterns.foo({:a, 42}) 


Got a pair, first element a, second 42 
:Ok 


如 朱 用 一 个 不 匹配 的 参数 进行 调用 ， 将 会 得 到 一 个 错误 : 


iex(2)> Patterns.foo("something else") 

** (FunctionClauseError) no function clause matching in Patterns .foo/1 
patterns.ex:3: Patterns.Tfoo("something else") 
erl eval.erl:569: :erl eval.do apply/6 
src/elixir,.erl:147: :elixir.eval forms/3 


根据 知 要 可 以 为 一 个 孙 数 添加 多 个 不 同 的 定义 : 


Actors/patterns/patterns.ex 
def foo({x, y, z}) do 


I0O.puts("Got a triple: #{x}, #{y}, #{2Zz}") 
end 
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调用 函数 时 ， 与 参数 匹配 的 函数 将 被 执行 


iex(2)> Patterns.foo({:a, 42, "yahoo"}) 
Got a triple: a, 42, yahoo 

:Ok 

iex(3)> Patterns.foo({:x, :y}) 

Got a pair, first element x, second y 

: OK 


下 面 将 使 用 OTP 实 现 一 个 服务 右 ， 其 中 也 用 到 了 这 个 技术 。 
用 GenServer 重 新 实现 缓存 


现在 学 习 OTP 的 一 个 组 件 : GenServer。GenServer 是 一 个 行为 (behaviour ) ， 可 以 用 来 日 动 
创建 一 个 有 状态 的 actor。 我 们 就 来 利用 这 个 组 件 重新 实现 昨天 的 缓存 。 


你 可 能 党 得 behaviour 这 种 拼写 有 点 怪 ， 它 来 源 于 Erlang， 而 Erlang 用 的 是 英 式 拼写 。 我 们 就 
人 > ene 这 种 拼写 。 


这 里 所 说 的 “行为 ”非常 类 似 于 Java 中 的 接口 一 一 其 定义 了 一 个 函数 集 。 模 块 使 用 use 来 声 
明 自 己 实现 了 行为 : 


Actors/cache/cache3.ex 
defmodule Cache do 
> use GenServer.Behaviour 
def handle cast({:put, url, page}, {pages, size}) do 
new pages = Dict.put(pages, url, page) 
new size = size + byte Size(page) 
{:noreply, {new pages, new size}} 
end 
def handle call({:get, url}, from, {pages, size}) do 
{:reply, pages[url], {pages, size}} 
end 


def handle call({:size}, from, {pages, size}) do 
{:reply, size, {pages, size}} 
end 
end 


这 上 段 代 码 中 Cache 声 明 自 己 实现 了 一 个 行为 (GenServer.Behaviour ) 和 两 个 洱 数 
(handle cast() 和 handle call()), 


handle_cast() 可 以 处 理 消息 但 并 不 回复 消息 。 其 接受 两 个 参数 : 收 到 的 消息 、actor 的 当前 
状态 。 返 回 值 是 一 个 二 元 组 {:noreply，new state}。 本 例 中 实现 了 一 个 handle cast() 来 处 
理 :put 消 息 。 


handle caLL() 可 以 处 理 消 息 且 回复 消息 。 其 接受 三 个 参数 : 收 到 的 消息 、 发送 者 标识 、actor 
的 当前 状态 。 返 回 值 是 repLy，reptLy value，new state}。 本 例 中 实现 了 两 个 
handle caLtL() ， 一 个 负责 处 理 :get 消 息 ， 另 一 个 负责 处 理 :size 消 息 。 类 似 于 Clojure，Elixir 
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用 下 划 线 (_) 开头 的 变量 名 来 表示 该 变量 不 被 使 用 一 一 比如 _from。 
按照 惯例 仍 会 提供 一 些 便于 使 用 的 API: 


Actors/cache/cache3.ex 


def start link do 
:gen server.start link({:local, :cache}, MODULE , {HashDict.new, 0}, []) 
end 


def put(url, page) do 
:gen server.cast(:cache, {:put, url, page}) 
end 


def get(url) do 

:gen server.call(:cache, {:get, url}) 
end 
def size do 


:gen server.call(:cache, {:size}) 
end 


这 上 段 代码 使 用 了 :gen server,start link() 替 换 spawn link()， 使 用 :gen server. 
cast() 发 送 一 个 不 需要 回复 的 消息 ,使 用 :gen_server.call() 发 送 一 个 需要 回复 的 消息 。 


接 下 来 ,用 OTP 创 建 一 个 管理 者 。 
OTP 管 理 者 
这 是 一 个 用 OTP 管 理 者 行为 来 实现 的 缓存 管理 者 : 


Actors/cache/cache3.ex 
defmodule CacheSupervisor do 
def init( args) do 
workers = [worker(Cache, [1]1)] 
supervise(workers, strategy: :one for one) 
end 
end 


进程 启动 时 会 调用 init() 函数 。 其 接受 一 个 参数 ( 本 例 中 没有 使 用 这 个 参数 )， 创 建 一 些 工 
作 进 程 并 将 其 管理 起 来 。 本 例 中 创建 了 一 个 Cache 进 程 ， 并 使 用 one- for-one 重 启 策 略 来 管理 该 
进程 。 


小 乔 爱 问 : 
什么 是 重启 策略 ? 


BP 


OTP 管理 者 行为 支持 多 种 不 同 的 重启 策略 ， 最 常用 的 是 one-for-all 和 one-for-one。 
策略 指 的 是 管理 多 个 工作 进程 的 管理 者 如 何 重 局 乔 溃 的 工作 进程 。 如 果 一 个 工作 进 
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程 崩 渍 ,使 用 one-for-all 策略 的 管理 者 将 重启 所 有 工作 进程 (包括 那些 没有 崩 沉 的 工作 进程 )， 
使 用 one-for-one 策略 的 管理 者 仅 重启 已 i 


还 有 许多 其 他 的 策略 ， 不 过 这 两 种 已 经 可 以 应 对 大 部 分 场景 了 。 


按照 惯例 ， 提 供 易 用 的 API: 


Actors/cache/cache3.ex 


def start link do 
:Supervisor.start link( MODULE , []) 
end 


你 可 以 目 行 验证 一 下 缓存 和 管理 者 是 否 能 正常 工作 , 在 昨天 的 学 习 中 进行 过 类 似 的 验证 , 此 
处 不 青 猜 述 。 


1// 小 乔 爱 问 : 


NA 


过 OTP 还 能 做 什么 ? 


正如 以 上 的 代码 所 示 , OTP 可 以 帮 我 们 省 去 一 些 无 聊 的 代码 。 此 外 它 还 提供 了 更 多 的 好 
处 ， 这 些 好 处 在 之 前 的 例子 中 不 是 那么 明显 。 比 起 之 前 创建 的 简单 版 本 ， 用 OTP 实现 的 服 
务 器 和 管理 者 有 着 更 多 的 功能 ， 其 中 包括 以 下 几 点 。 

更 好 的 重启 还 辑 : 之 前 我 们 自己 实现 的 简单 管理 者 使 用 非常 草率 的 重启 策略 一 一 如 果 
工作 线程 崩 渍 ,就 将 其 重启 。 如 果 工 作 线 程 在 启动 时 很 快 就 前 演 ， 那么 管理 者 会 一 直 重 启 工 
作 线 程 。 而 OTP 提供 的 管理 者 可 以 设 定 最 大 重启 频率 ， 如 果 重 启 超 过 这 个 频 府 ， 管 理 者 将 


会 异常 终止 。 


调试 与 日 志 : 通过 调整 OTP 服 务 器 的 参数 , 可 以 开启 调试 和 日 志 功 能 , 这 对 开发 很 重要 。 
代码 热 升 级 : OTP 服 务 器 不 需要 停止 整个 系统 就 可 以 进行 升级 。 


还 有 许多 : 发 布 管理 、 故 障 切 换 、 自 动 扩容 ， 等 等 。 


本 书 不 会 详细 介绍 这 些 特 性 。 在 大 部 分 场景 中 可 以 直接 使 用 这 些 特性 , 而 不 建议 自己 造 
sa 


方 忌 


每 创建 一 个 Erlang 虚 拟 机 实例 , 就 相当 于 创建 了 一 个 节点 。 之 前 的 例子 都 只 创建 了 一 个 节点 
现在 来 学 习 如 何 创 建 和 连接 多 个 市 点 。 
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连接 (connect) “节点 


连接 两 个 节点 时 ， 必 须 先 对 这 两 个 节点 命名 。 启 动 Erlang 虚 拟 机 时 可 以 使 用 --name 或 者 
--sname 选项 为 节点 命名 。 我 的 MacBook Pro 的 PP 是 10.99.1.50 。 运 行 iex --sname 
nodel@10.99.1.50 --cookie yumyum ( 稍 后 会 解释 - - cookie 参数 )， 可 以 查看 节点 名 称 : 

lex(node1@G10.99.1.50)1> Node.self 

:"node1@10.99.1.50" 

iex(node1@G10.99.1.50)2> Node.list 

[] 

使 用 Node. self() 可 以 查看 节点 名 称 , 使 用 Node,List() 可 以 查看 当前 节点 已 知 的 其 他 节点 
列表 。 现 在 这 个 列表 是 空 的 ， 下 面 将 为 其 赋值 。 如 果 使 用 iex --sname node2@10.99.1.92 
- -cookie yumyum 在 另 一 台 计 算 机 ( 10.99.1.92 ) 上 运行 为 一 个 Erlang 虚 拟 机 ,用 Node.connect() 
可 以 连接 该 节点 : 

iex(node1@10.99.1.50)3> Node.connect(:"node2@10.99.1.92") 

true 

iex(node1G10.99.1.50)4> Node.List 

[: "node2@10.99.1.92"] 


连接 是 双向 的 ， 第 二 台 计 算 机 也 知道 第 一 台 的 信息 : 


iex(node2@10.99.1.92)1> Node. list 
[:"nodel@10.99.1.50"] 


WW 小 乔 爱 问 : 
过 ”如果 只 有 一 台 计算 机 呢 ? 


如 果 你 只 有 一 人 台 计 算 机 ， 但 又 想 进行 集群 试验 ， 那 有 以 下 几 种 选择 : 

口 使 用 虚拟 机 ; 

口 使 用 Amazon EC2 或 者 类 似 的 云 服 务 ; 

口 在 一 人 台 计 算 机 上 运行 多 个 节点 。 虽 然 这 种 方案 与 实际 环境 有 一 些 偏 差 ， 却 是 目前 最 简 
单 的 方案 。 如 果 你 对 如 何 配置 多 机 环境 不 太 熟 悉 ， 这 种 方式 可 以 帮 你 避免 设置 防火 墙 
和 配置 网 络 等 麻烦 。 


远程 执行 
已 经 建立 了 两 个 连接 的 节点 ， 一 个 节点 可 以 在 妃 一 个 节点 上 执行 代码 : 


iex(node1@G10.99.1.50)5> whoami = fn() -> I0.puts (Node.self) end 
#Function<20.80484245 in :erl eval.expr/5> 


J 之 前 我 们 看 到 过 对 进程 的 连接 ， 其 指 的 是 Link; 此 处 的 连接 指 的 是 connect， 这 两 个 概念 不 可 混 清 。 一 一 译 者 注 
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iex(node1@G10.99.1.50)6> Node.spawn(:"node2@10.99.1.92", whoami) 
#PID<8242.50.0> 
node2@10 .99.1.92 


这 有 段 看 似 简 单 的 代码 却 异 第 强大 一 一 一 个 节点 在 男 一 个 市 点 上 执行 代码 , 而 且 执 行 的 结果 还 
会 返回 给 第 一 个 市 点 。 这 是 因为 子 进程 会 继承 父 进 程 的 组 长 ( group leader ) ，I0.puts() 会 将 输 
出 发 送 给 组 长 。 其 暗地里 进行 了 很 多 处 理 ! 

远程 消息 

如 你 所 料 ， 一 个 actor 可 以 回 另 一 侣 计算机 的 actor 发 送 消 息 。 举 例 说 明 ， 下 面 的 代码 在 一 个 和 
点 上 创建 了 一 个 Counter 的 实例 (人 参见 $.2 节 的 “有 状态 的 actor” 部 分 ): 


iex(node2@G10.99.1.92)1> pid = spawn(Counter，:Loop，[42] ) 
#PID<0.51.0> 

iex(node2@10.99.1.92)2> :global.register name(:counter, pid) 
:yes 


创建 好 实例 后 ， 用 :global.register name() 进 行 注 册 ， 这 类 似 于 Process. register()， 
但 它 是 在 集群 全 局 注册 名 字 。 


现在 就 可 以 在 男 一 个 节点 上 使 用 :global .whereis _name() 获 取 进 程 标识 符 ， 并 发 送 消 息 : 


1iex(node1@G10.99.1,50)1> Node.connect(:"node2@10.99.1.92") 
true 

iex(node1@G10.99.1.50)2> pid = :global .whereis name(:counter) 
#PID</7856.51.0> 

iex(node1@G10.99.1.50)3> send(pid, {:next}) 

{:next} 

iex(node1l@10.99.1.50)4> send(pid, {:next}) 

{:nNnext} 


显然 ， 在 第 一 个 节点 上 的 输出 是 : 


Current count: 42 
Current count: 43 


重申 一 下 : 消 忆 的 运行 结果 会 输出 到 产生 消 恩 的 actor 的 父 进 程 市 点 上 。 


1 “小 乔 爱 问 : 
“fF 我 该 如 何 管理 集群 ? 


一 个 节点 可 以 在 另 一 个 节点 上 远程 执行 代码 , 这 是 非常 强大 的 一 个 功能 。 不 过 强大 的 功 
能 都 很 危险 。 在 设计 集群 管理 策略 时 尤其 需要 考虑 安全 性 。 之 前 调用 iex 时 使 用 的 --cookie 
参数 就 源 出 于 此 一 一 一 个 Erlang 节点 仅 接收 使 用 同样 cookie 的 节点 发 送 的 消息 。 也 有 其 他 
的 方法 用 来 保障 Erlang 集群 的 安全 性 ， 比 如 SSL 隧道 连接 。 


安全 性 不 是 唯一 的 问题 。 上 面 的 例子 中 使 用 IP 地 址 作为 节点 名 称 的 一 部 分 ， 这 在 大 部 


5.4 第 三 天 ， 分 布 式 127 


分 场景 下 都 适 用 (因为 我 并 不 知道 你 的 网 络 配置 ， 使 用 钙 比 较 保险 ) 。 不 过 在 产品 环境 中 未 
必 是 最 好 的 选择 。 

集群 设计 中 的 种 种 权衡 非常 复杂 ， 也 超出 了 本 书 的 范围 。 在 产品 环境 中 使 用 集群 前 ,请 
务必 阅读 相关 文档 。 


分 布 式 词 频 统计 


我 们 即将 结束 对 actor 模 型 和 Elixir 的 学 习 ， 现 在 来 尝试 实现 分 布 式 的 Wikipedia 词 频 统 计 (前 
几 章 已 经 介绍 过 其 背景 )。 分 布 式 的 解决 方案 与 前 几 间 的 解决 方案 相 比 ， 相 同 的 是 可 以 借助 多 核 
的 力量 ; 不 同 的 是 它 还 可 以 利用 多 台 计 算 机 的 力量 ,日 能 从 月 演 中 恢复 。 


分 布 式 解决 方案 的 基本 淋 构 如 图 5-3 所 示 。 


请 求 新 的 页 面 


图 $-3 分布 式 解决 方案 的 基本 架构 
分 布 式 解决 方案 涉及 到 三 类 actor: 一 个 解析 占 (Parser )， 多 个 计数 项 (Counter ) 和 一 个 


累加 器 (Accumutator )。 解析 器 负责 将 一 个 Wikipedia dump 解 析 成 若干 个 页 面 ， 计 数 器 负责 统计 
页 面 的 词 频 ， 累 加 器 负责 统计 多 个 页 面 的 词 频 总 数 。 

处 理 的 第 一 步 是 计数 器 向 解析 器 请 求 一 个 页 面 。 计 数 器 收 到 页 面 后 ,统计 页 面 的 词 频 ， 并 将 
结果 传 给 累加 器 。 累 加 器 处 理 完成 后 ， 会 告诉 解析 器 该 页 面 已 经 被 处 理 。 

我 们 稍 后 会 解释 为 什么 要 选择 这 样 的 处 理 流程 , 先 来 看 看 如 何 实现 这 个 方案 , 从 计数 器 的 部 
分 开始 。 

计数 器 

下 面 的 Counter 模 块 是 一 个 简单 的 无 状态 的 actor, 从 Parser 接 收 页 面 , 并 将 计数 结果 发 送 给 


Accumulator: 
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Actors/word count/lib/counter.ex 


Line1 defmodule Counter do 
use GenServer.Behaviour 
def start link do 
:gen server.start link( MODULE , nil, []) 
5 end 
def deliver page(pid, ref, page) do 
:gen server.cast(pid, {:deliver page, ref, page}) 
end 


10 def init( args) do 
Parser.request page(self()) 
{:ok, nil} 
end 


15 def handle cast({:deliver page, ref, page}, state) do 
Parser.request page(self()) 


words = String.split(page) 

counts = Enum.reduce(words, HashDict.new, fn(word, counts) -> 
20 Dict.update(counts, word, 1, &(&l1 + 1)) 

end) 
Accumulator.deliver counts(ref, counts) 
{:noreply, state} 
end 

25 end 


这 上段 代码 遵循 了 了 OTP 服务 妖 的 标准 模式 一 一 首先 是 供 外 部 使 用 的 API ( start link() 和 
deliver page() )， 然 后 是 初始 化 限 数 ( init() )， 最 后 是 消息 处 理 果 数 (handle cast() )。 


Counter 初 始 化 时 先 调用 Parser.request page() (第 11 行 )。 


Counter 每 接收 到 一 个 页 面 ， 首 先 会 申请 下 一 个 页 面 (第 16 行 , 这样 做 是 为 了 减少 延迟 )。 然 
后 统计 当前 页 面 的 词 频 ， 构 造 字典 counts 来 保存 结果 (第 18~21 行 )。 最 后 将 ref (引用 ref 是 和 
页 面 一 起 接收 到 的 ) 和 计数 结果 发 送 给 Accumulator。 


利用 CounterSupervisor 可 以 创建 和 管理 多 个 Counter: 


Actors/word count/lib/counter.ex 


defmodule CounterSupervisor do 
use Supervisor.Behaviour 
def start link(num counters) do 
:Supervisor,.start link( MODULE , num counters) 
end 
def init(num counters) do 
workers = Enum.map(1..num counters, fn(n) -> 
worker(Counter, [], id: "counter#{n}") 
end) 
supervise(workers, strategy: :one for one) 
end 
end 
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CounterSupervisor.init() 的 参数 是 要 创建 的 Counter 的 个 数 , 也 是 workers 列 表 的 长 度 。 
注意 ， 每 个 工作 线程 worker 都 需要 一 个 唯一 的 1d， 可 以 用 1. .num_counters 构 造 id 的 值 。 
累加 器 


Accumulator 维 护 了 两 个 状态 : totatLs 是 保存 累加 结果 的 字典 ; processed pages 是 保存 已 
经 处 理 过 的 页 面 所 对 应 的 引用 的 集合 。 


Actors/word count/lib/accumulator.ex 


Line1 defmodule AccumuLator do 
use GenServer.Behaviour 


def start link do 
5 ‘gen server,.start link({:global, :wc accumulator}, MODULE ,, 
{HashDict.new, HashSet.new}, []) 
end 


def deliver counts(ref, counts) do 
10 :gen server.cast({:global, :wc accumulator}, {:deliver counts, ref, counts}) 
end 


def handle cast({:deliver counts, ref, counts}, {totals, processed pages}) do 
if Set.member?(processed pages, ref) do 
15 {:noreply, {totals, processed pages}} 
else 
new totals = Dict.merge(totals, counts, fn( k, v1l, v2) -> v1 + V2 end) 
new processed pages = Set.put(processed pages, ref) 
Parser.processed(ref) 
20 {:noreply, {new totals, new processed pages}} 
end 
end 
- end 


这 上段 代码 以 {:global，wc accumulator} 为 参数 调用 :gen server.start Link() (第 5 
行 )， 为 累加 器 创建 了 全 局 名 称 。 可 以 直接 使 用 全 局 名 称 来 调用 :gen_server .cast() 发 送 消息 
(第 10 行 )。 

当 Accumulator 收 到 计数 结果 时 ， 首 先 检 查 某 一 页 面 是 否 已 经 被 处 理 过 ( 稍 后 我 们 会 看 到 
Accumulator 可 能 收 到 两 次 同一 页 面 的 计数 结果 ， 并 解释 这 个 检查 的 重要 性 )。 如 果 页 面 没 有 被 
处 理 过 ， 则 使 用 Dict .merge() 将 该 页 面 的 计数 结果 合并 到 totals 中 ， 并 使 用 Set .put() 将 该 页 
面 的 引用 合并 到 processed pages， 最 后 通知 Parser 该 页 面 已 经 被 处 理 。 


解析 器 与 容错 


解析 带 是 三 种 actor 中 最 复杂 的 ， 我 们 将 偿 步 进行 介绍 。 首 和 完 ， 介 绍 其 对 外 提供 的 APTI: 


Actors/word_count/lib/parser.ex 


defmodule Parser do 
use GenServer.Behaviour 
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def start link(filename) do 
‘gen server.start link({:global, :wc parser}, MODULE , filename, []) 
end 


def request page(pid) do 
‘gen server.cast({:global, :wc parser}, {:request page, pid}) 
end 


def processed(ref) do 
:gen server.cast({:global, :wc parser}, {:processed, ref}) 
end 
end 


与 Accumulator 相 同 , Parser 也 在 初始 化 时 注册 了 一 个 全 局 名 称 。 它 提供 了 两 种 操作 一 一 第 
一 种 是 request page() ，Counter 调 用 这 个 晒 数 来 请 求 一 个 页 面 ; 第 二 种 是 processed( ) ， 
AccumuLator 调 用 这 个 函数 来 通知 解析 需 某 页 面 已 经 被 处 理 了 。 


接 下 来 ， 介 绍 这 两 种 操作 的 消息 处 理 冰 数 : 


Actors/word_count/lib/parser.ex 


def init(filename) do 
xml parser = Pages .start link(filename) 
{:ok, {ListDict.new, xml parser}} 

end 


def handle cast({:request page, pid}, {pending, xml parser}) do 
new pending = deliver page(pid, pending, Pages.next(xml parser)) 
{:noreply, {new pending, xml parser}} 

end 


def handle cast({:processed, ref}, {pending, xml parser}) do 
new pending = Dict.delete(pending, ref) 
{:noreply, {new pending, xml parser}} 

end 


Parser 维 护 了 两 个 状态 : 第 一 个 是 pending , 这 是 一 个 ListDict, 其 元 素 是 已 经 发 往 Counter 
但 没有 被 处 理 的 页 面 的 引用 ; 第 二 个 是 xmL_parser,， 这 是 一 个 actor， 其 使 用 Erlang 的 xmerl 库 "来 
解析 Wikipedia dump ( 在 此 不 详 述 其 实现 ， 详 情 可 见 本 书 配套 代 码 )。 


对 :processed 消 息 的 处 理 只 需要 从 pending 中 删除 已 被 处 理 的 页 面 。 对 :request_page 消 
息 的 处 理 需 要 从 XML 解析 需 中 获取 下 一 个 可 用 的 页 面 ， 并 将 页 面 传 给 deLiver page() : 


Actors/word count/lib/parser.ex 


defp deliver page(pid, pending, page) when nil?(page) do 
if Enum.empty?(pending) do 
pending # 什么 也 不 做 


GD http://www.erlang.org/doc/apps/xmerl/ 
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else 
{ref, prev page} = List.Last(pending) 
Counter.deliver page(pid, ref, prev page) 
Dict.put(Dict.delete(pending, ref), ref, prev page) 
end 
end 


defp deliver page(pid, pending, page) do 
ref = make ref() 
Counter. deliver page(pid, ref, page) 
Dict.put(pending, ref, page) 

end 


这 里 的 deliver page() 使 用 到 了 一 个 未 介绍 过 的 Elixir 特 性 一 一 卫 语 句 ( guard clause )， 在 
本 例 中 是 第 一 个 deliver page() 的 when 子 句 。 卫 语句 是 一 个 布尔 表达 式 一 一 消 数 仅 在 表达 式 为 
真 时 有 效 。 

当 page 不 为 空 时 ， 首 先 使 用 make_ref() 创 建 一 个 唯一 的 引用 ， 并 将 页 面 传 给 请 求 页 面 的 
counter， 最 后 将 页 面 添加 到 pending 中 。 


当 page 为 空 时 ， 意 味 着 XML 解析 器 已 经 完成 了 对 所 有 页 面 的 解析 ， 不 再 提供 新 的 页 面 。 此 
时 只 需 将 pending 中 最 老 的 元 素 传 给 Counter， 并 从 pending 中 将 此 页 面 移出 再 重新 添加 进来 ， 
以 保证 其 是 pending 中 最 新 的 元 素 。 

page 为 空 的 分 支 主要 是 为 了 确保 pending 中 的 页 面 最 终 都 会 被 处 理 。 将 这 些 pending 中 的 页 
面 再 次 发 给 男 一 个 Counter 有 什么 好 人 处 吗 ? 

和 牌 了 

这 样 的 好 处 是 提升 了 容错 性 。 如 果 一 个 Counter 崩 演 、 网 络 故 陪 或 者 硬件 故障， 就 需要 将 其 
处 理 的 页 面 发 给 男 一 个 Counter。 由 于 每 个 页 面 都 带 有 唯一 的 引用 ， 那 就 可 以 分 辨 哪些 页 面 已 经 
被 处 理 过 了 ， 从 而 避免 重复 计数 。 

现在 启动 一 个 集群 来 体验 一 下 吧 。 在 一 台 计 算 机 上 局 动 一 个 Parser 和 一 个 AccumuLator， 并 
在 其 他 的 一 台 或 几 台 计算 机 上 启动 几 个 Counter。 如 果 氢 掉 某 个 运行 Counter 的 计算 机 的 网 线 ， 或 
者 干掉 其 Erlang 虚 拟 机 ， 其 他 正常 的 Counter 将 继续 运行 并 接管 那些 运行 在 故障 计算 机 上 的 页 面 。 

这 是 一 个 体现 并 发 分 布 式 程序 的 优点 的 绝 佳 例 子 。 发 生 某 个 硬件 故障 时 ,， 串 行 的 程序 或 多 线 
程 的 程序 都 会 甬 泪 ， 但 这 个 分 布 式 的 程序 将 幸存 下 来 。 


第 三 天 总 结 
我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 actor 模 型 的 学 习 。 
第 三 天 我 们 学 到 了 什么 
使 用 Elixir 可 以 创建 多 节点 的 集群 。 一 个 节点 上 的 actor 可 以 同 另 一 个 节点 上 的 actor 发 送 消息 ， 
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与 向 本 节点 的 actor 发 送 消息 没有 什么 区 别 。 使 用 Elixir 可 以 创建 一 个 分 布 在 多 台 计 算 机 上 的 系统 ， 
如 果 其 中 一 台 计算 机 崩溃 ， 该 系统 可 以 从 中 恢复 运行 。 

第 三 天 自习 

查找 


口 观看 Joe Armstrong 在 Lambda Jam 上 的 演讲 : Systems That Run Forever Self-Heal and Scale。 
口 什么 是 一 个 OTP 应 用 程序 ?为 什么 把 它 理 解 成 “组 件 ” 更 加 合适 ? 

口 到 目前 为 上 ,我 们 使 用 的 actor 的 状态 都 会 在 它 退 出 时 丢失 。 Elixir 是 如 何 实 现 持久 状态 的 ? 
实践 


D 对 于 本 节 中 具有 容错 功能 的 词 频 统 计 程 序 ， 如 果 一 个 计数 融 或 相应 的 计算 机 裔 溃 ， 程 序 
可 以 继续 运行 下 去 。 但 如 采 一 个 解析 需 或 一 个 累加 硕 需 省 则 不 行 。 修 改 程序 ， 使 其 在 任 
一 actor 或 任 一 计算 机 册 尝 时 都 可 以 继续 运行 。 


5.5 复习 


Smalltalk 的 设计 者 、 面 向 对 象 编程 之 父 Alan Kay 曾 经 这 样 描 述 面 向 对 象 的 本 质 ”. 


很 久 以 前 ,我 在 描述 “面向 对 闻 编 程 ” 时 使 用 了 “对 次 ”这 个 概念 。 很 抱歉 这 个 概 
念 让 许多 人 误 入 歧途 ， 他 们 将 学 习 的 重心 放 在 了 “对 架 ” 这 个 次 要 的 方面 。 


真正 主要 的 方面 是 “消息 ”.………: 日 文中 有 一 个 词 ma， 表 示 “间隔 ”， 与 其 最 为 相近 
的 英文 或 许 是 “ interstitial”。 创 建 一 个 规模 宏大 且 可 生长 的 系统 的 关键 在 于 其 模块 之 间 
应 该 如 何 交 流 ， 而 不 在 于 其 内 部 的 属性 和 行为 应 该 如 何 表 现 。 
这 段 话 也 概括 了 使 用 actor 模 型 进行 编程 的 精髓 我 们 可 以 认为 actor 模 型 是 面 癌 对 象 模型 


在 并 发 编程 领域 的 扩展 。actor 模 型 精心 设计 了 消息 传输 和 封装 的 机 制 ， 强 调 了 面 癌 对 象 的 精髓 ， 
可 以 说 actor 醒 型 非常 “ 面 加 对 象 ”。 


优点 
actor 有 许多 优良 的 特性 ， 适 用 于 解决 多 种 并 发 问题 。 
消息 传输 和 封装 


虽然 多 个 actor 可 以 同时 运行 , 但 它们 并 不 共享 状态 ,而 且 在 单个 actor 中 所 有 事件 都 是 吝 行 执 
行 的 O 所 以 关于 并 发 9 只 需要 关注 于 多 个 actor 之 间 的 消息 流 即 可 O 


GD http://c2.com/cgi/wiki?AlanKayOnMessaging 
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对 开发 人 员 来 说 这 是 个 重大 利好 。 每 个 actor 可 以 被 单独 测试 ， 而 且 当 测试 覆盖 了 某 个 actor 
的 消息 类 型 和 消息 顺序 时 ， 就 可 以 确定 这 个 actor 非 常 可 靠 。 如 果 发 现 了 一 个 与 并 发 相关 的 bug， 
也 就 知道 重点 应 该 放 在 actor 之 间 的 消息 流 上 。 

容错 

使 用 actor 模 型 的 程序 天 生 具 有 容错 性 。 这 不 仅 会 让 程序 更 加 强壮 ， 而 且 (通过 “ 任 其 朋 沉 ” 
的 哲学 ) 会 让 代码 更 加 简洁 明了 。 

分 布 式 编程 

actor 模 型 支持 共 至 内 存 模 型 ， 也 文 持 分 布 式 内 存 模型 ， 这 就 市 来 了 很 多 优点 。 

首先 ，actor 模 型 几乎 可 以 解决 任何 规模 的 问题 。 我 们 不 需要 将 问题 局 限于 用 一 个 系统 解决 。 

其 次 ，actor 模 型 可 以 解决 地 理 分 布 式 问 题 。 对 于 不 同 部 分 需要 部 署 在 不 同 地 理 位 置 的 软件 ， 
Actor 模 型 是 个 极 佳 的 选择 。 

最 后 ， 分 布 式 是 软件 具有 容错 能 力 的 基石 。 


缺点 


尽管 使 用 actor 模 型 的 程序 比 使 用 线程 与 锁 模 型 的 程序 更 容易 debug， 但 actor 横 型 仍 会 磁 到 死 
锁 这 一 类 的 共性 问题 ， 也 会 磁 到 一 些 actor 模 型 独 有 的 问题 ( 例如 信箱 溢出 )。 

类 似 于 线程 与 锁 模 型 ,actor 模 型 对 并 行 也 没有 提供 直接 支持 。 需要 通过 并 发 的 技术 来 构造 并 
行 的 方案 ， 这样 束 会 引入 不 确定 性 。 而 且 ， 由 于 多 个 actor 并 不 共享 状态 , 仪 通过 消息 传递 来 进行 
交流 ， 所 以 不 太 适 合 实 施 细 粒 度 的 并 行 。 


其 他 语言 


与 许多 伟大 的 思想 一 样 ，actor 模 型 也 由 来 悠久 一 一 20 世 纪 70 年 代 Carl Hewitt 首 次 提出 这 个 模 
型 。Erlang 无 疑 为 布道 actor 做 了 最 大 的 贡献 。 比 如 Erlang 的 创始 人 Joe Armstrong 也 是 “ 任 其 月 溃 ” 
哲学 的 先驱 。 

大 部 分 流行 的 编程 语言 都 提供 了 一 个 actor 库 ， 特 别 是 Akka 库 为 Java 和 其 他 运行 于 JVM 的 语 
言 提 供 了 对 actor 模 型 的 支持 。 如 果 想 深入 学 习 Akka， 建 议 阅读 本 书 的 奖励 章节 ”>， 其 中 描述 了 如 
何 用 Scala 进 行 actor 编 程 。 


GD http://akka.io 
@) http://media.pragprog.com/titles/pb7con/Bonus Chapter.pdf 
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actor 模 型 是 应 用 最 广泛 的 编程 模型 之 一 一 一 不 仪 提 供 了 并 发 支持 ,还 支持 分 布 式 、 错 误 检 测 
和 容错 。 当 面 对 越 来 越 大 的 分 布 式 需 求 时 ， 该 模型 是 解决 问题 的 绝 佳 选择 。 

下 一 草 我 们 将 学 习 通 信 有 顺序 进程 ( Communicating Sequential Processes ，CSP )。 虽然 CSP 模 型 
看 上 去 类 似 于 actor 模 型 ， 但 区 别 在 于 : actor 模 型 的 重点 在 于 参与 交流 的 实体 ， 而 CSP 模 型 的 重点 
在 于 用 于 交流 的 通道 。 因 此 使 用 CSP 模 型 将 是 另 一 番 体 验 。 


遂 信 顺序 进程 


如 果 你 和 我 一 样 是 个 车 迷 ， 很 可 能 只 会 关注 车 辆 本 身 ， 而 忽略 了 它 所 要 行驶 的 道路 。 大 家 都 
在 唉 唆 不 休 地 争论 涡轮 增 压 与 自然 吸 气 熟 优 熟 劣 ， 让 中 置 发 动机 布局 与 前 置 发 动机 布局 一 较 高 
下 , 却 忘记 了 最 重要 的 方面 其 实 与 车 辆 本 身 无 关 。 你 能 去 往 何方 、 能 多 快 到 达 目 的 地 ,首要 的 决 
定 因素 是 道路 网 络 而 不 是 车 辆 本 身 。 


消息 传递 系统 (message-passing system ) 与 之 类 似 ， 决 定 其 特性 和 功能 的 首要 因 么 并 不 是 用 
于 传递 消息 的 代码 或 者 消息 的 内 容 ， 而 是 消息 的 传输 通道 。 


本 章 我 们 所 考察 的 模型 表面 上 与 actor 模 型 相似 , 但 由 于 其 侧重 点 不 同 , 所 以 有 春 很 大 的 差别 。 


6.1 万 物 彰 通信 


如 上 一 章 所 述 ， 使 用 actor 模 型 的 程序 是 由 独立 的 、 并 发 执行 的 实体 ( 称 为 actor，Elixir 中 称 
为 进程 ) 组 成 的 ， 这些 实体 之 间 通 过 发 送 消 息 进 行 通 信 。 每 个 actor 都 有 一 个 信箱 ， 用 于 保存 已 经 
收 到 但 尚未 被 处 理 的 消息 。 

与 actor 模 型 类 似 ， 通 信 顺 序 进程 (Communicating Sequential Processe，CSP ) 模型 也 是 由 独 
立 的 、 并 发 执行 的 实体 所 组 成 , 实体 之 间 也 是 通过 发 送 消息 进行 通信 。 但 两 种 模型 的 重要 差别 是 : 
CSP 模 型 不 关注 发 送 消 息 的 实体 ， 而 是 关注 发 送 消息 时 使 用 的 channel (通道 )，channel 是 第 一 类 
对 象 ， 它 不 像 进程 那样 与 信箱 是 紧 耦 合 的 ， 而 是 可 以 单独 创建 和 读 写 ， 并 在 进程 之 间 传 递 。 

与 国 数 式 编程 和 actor 模 型 类 似 ，CSP 模 型 也 是 正在 复兴 的 古董 。 由 于 近来 Go 语言 "的 兴起 ， 
CSP 模 型 又 流行 起 来 。 我 们 将 通过 core.async 库 ?来 介绍 CSP 模 型 ， 这 个 库 将 Go 的 并 发 模型 引入 
了 Clojure。 

第 一 天 ,我 们 将 学 习 构 建 core .async 库 的 两 大 基石 : channel 和 go 块 。 第 二 天 ,使 用 这 些 知 识 构 
建 一 个 有 现实 意义 的 例子 。 第 三 天 ， 学 习 如 何在 ClojureScript 中 使 用 core.async 来 简化 客户 端 编程 。 


GD http://golang.org 
@) http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 
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core.async 提 供 了 两 个 主要 的 工具 一 一 channel 和 go 块 。 在 大 小 有 限 的 线程 池 中 ，go 块 允许 
多 个 并 发 任务 复 用 线程 资源 。 现 在 还 是 先 来 看 看 channel。 


使 用 core.async 库 
在 Clojure 语 言 中 ，core， pe 和 历 较 浅 ， 且 仍 处 于 预 发 布 阶段 ( 因此 需要 留意 可 
能 发 生 的 变化 )。 要 使 用 这 个 库 ， 你 需要 为 项 目 添加 依赖 并 性 入 core.async。 由 于 


core,async 库 定义 的 一 些 函 9 数 名 冲突 ， 添 加 依赖 和 导入 库 往 往 较 
为 繁复 。 为 简单 起 见 ,你 可 以 使 用 本 书 配套 代码 中 的 channel 项 目 , 它 是 这 样 导 入 core.async 
库 的 : 


CSP/channels/src/channels/core.cl] 


(ns channels.core 
(:require [clojure.core.async :as async :refer :all 
:exclude [map into reduce merge partition partition-by take]])) 


通过 指定 ;refer :all, 大 多 数 core,.async 库 的 函数 可 以 直接 使 用 , 但 还 有 一 部 分 ( 函 
数 名 与 核心 库 函 数 名 冲突 的 函数 ) 必须 通过 使 用 async/ 前 组 才能 调用 。 


切换 到 channel 项 上 目下， 直接 运 行 Lein repL， 就 可 以 运行 一 个 REPL， 其 中 已 经 加 载 了 
core,.async 库 的 函数 定义 。 


Channel 


一 个 channel 就 是 一 个 线程 安全 的 队列 一 一 任何 任务 只 要 持 有 channel 的 引用 ,就 可 以 癌 一 端 添 
加 消息 ,也 可 以 从 男 一 站 删 除 消 息 。 在 actor 模 型 中 , 消息 是 从 指定 的 一 个 actor 发 往 指 定 的 男 一 个 
actor 的 ; 与 之 不 同 ,， 使 用 channel 发 送 消 息 时 发 送 者 并 不 知道 谁 是 接收 者 ， 反 之 亦 然 


通过 chan 郴 数 可 以 创建 新 的 channel; 


channels.core=> (def c (chan) ) 
#' channeLs , core/c 


使 用 >!1 可 以 癌 channel 中 写 入 消息 ， 使 用 <!1 可 以 从 channel 中 读 出 消息 : 


channels,.core=> (thread (printLn "Read:™" (<!! c) "from c")) 

#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@78fcc563> 
channels.core=> (>!! ¢c "Hello thread") 

Read: Hello thread from c 

nil 
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这 段 代 但 使 用 了 core,async 提 供 的 thread 辅 助 安 ， 这 个 宏 会 将 其 中 的 代码 运行 在 一 个 单独 
的 线程 上 。, 这 个 线程 将 会 输出 从 channel 中 读 出 的 消息 ,不 过 首先 它 会 阻塞 , 直到 调用 >! 1|9jchannel 
中 写 入 消息 ， 然 后 我 们 才 会 看 到 输出 。 


缓存 区 


默认 情况 下 ,channel 是 同步 的 (或 称 无 缓存 的 ) 一 一 一 个 任务 辐 channel 写 和 人 消息 的 操作 会 一 
直 阻 塞 ， 直 到 另 一 个 任务 从 channel 中 读 出 消息 : 


channels.core=> (thread (>!! c "Hello") (printLn "Write completed")) 
#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@78fcc563> 
channels.core=> (<!! c) 

Write completed 

"Hello" 


如 果 问 chan 也 数 传 入 缓存 区 的 大 小 ， 就 可 以 创建 一 个 有 绥 存 的 channel: 


channels.core=> (def bc (chan 5)) 
#'channels.core/bc 
channels.core=> (>!! bc 0) 


nil 

channels.core=> (>!! bc 1) 
nil 

channels.core=> (close! bc) 
nil 

channels.core=> (<!! bc) 

0 

channels.core=> (<!! bc) 

1 

channels.core=> (<!! bc) 
nil 


这 段 代码 创建 了 一 个 channel， 其 缓存 区 可 以 容纳 五 个 消息 。 当 channel 的 缓存 区 有 足够 空间 
时 ， 辐 其 中 写 和 消息 的 操作 会 立刻 完成 ， 不 会 阻 堵 。 
关闭 channel 
上 面 的 代码 还 展示 了 channel 的 另 一 个 特性 。 从 已 经 关闭 的 
空 的 channel 中 读 出 消息 ， 将 得 到 nil; 问 已 经 关闭 pooha eli 入 消息 ， 该 消息 将 默默 地 被 弃 用 
如 你 所 料 ， 加 channel 中 写 人 nitL 将 发 生 错 误 : 


channels.core=> (>!! (chan) nitL) 
IllegalArgumentException Can't put nil on channel «...» 


下 面 的 晒 数 将 运用 我 们 已 学 的 知识 ， 不 断 地 从 channel 中 该 出 消息 ， 直 到 channel 被 关闭 。 郴 
数 将 以 数组 形式 返回 读 到 的 所 有 内 容 : 


CSP/channels/src/channels/core.cj 


(defn readall!! [ch] 
(Loop [coll []] 
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(if-let [x (<!! ch)] 
(recur (conj coll x)) 
coll))) 


在 上 面 的 代码 中 ，coLL 的 初始 值 是 空 数组 [] 。 每 次 循环 将 从 ch 中 读 出 一 个 值 ， 如 果 读 出 的 
值 不 是 nil, 就 将 其 添加 到 coll 中 ; 如 果 读 出 的 值 是 nil( channel 已 经 被 关闭 ), 函数 将 返回 coll。 


下 面 是 writeaLtLII 国 数 ， 其 接受 一 个 channel 和 一 个 数组 ， 将 数组 的 所 有 值 写 人 channel， 并 
在 写 入 完成 后 关闭 channel: 


CSP/channels/src/channels/core.cl] 


(defn writeall!! [ch coll] 
(doseq [x colll] 
(>!! ch x)) 
(close! ch)) 


来 测试 一 下 这 几 个 函数 : 


channels.core=> (def ch (chan 10)) 
#'channels.core/ch 

channels,.core=> (writeaLLI! ch (range 0 10)) 
nil 

channels.core=> (readall!! ch) 
[012345678 9] 


你 肯定 料 到 了 core.async 会 提供 具有 类 似 功能 的 辅助 函数 ， 这 样 我 们 就 不 用 自己 创建 这 些 
数 了 : 


channels.core=> (def ch (chan 10)) 

#' channels .core/ch 

channels.core=> (onto-chan ch (range 0 10)) 

#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@6b1l6d3cf> 
channels,.core=> (<!! (async/into [] ch)) 

[0 12345678 9] 


Ea 
WW 


onto-chan 子 数 用 于 将 集合 中 的 所 有 内 容 写 人 channel， 并 在 写作 完成 时 关闭 channel。 
async/into 握 数 接受 一 个 初始 集合 (上 例 中 是 空 集合 ) 和 一 个 channel， 并 返回 一 个 channel。 返 
回 的 channel 中 的 元 系 是 一 个 集合 ， 这 个 集合 由 初始 集合 和 从 输入 的 channel 中 读 出 的 所 有 元 系 合 
并 而 成 。 

下 面 我 们 将 使 用 这 些 辅 助 浮 数 进一步 讨论 有 绥 存 区 的 channel。 

缓存 区 已 满 时 的 策略 


默认 情况 下 , 向 一 个 缓存 区 已 满 的 channel 中 写 和 消息 将 会 被 阻塞 。 但 我 们 也 可 以 选择 其 他 策 
略 ， 通 过 加 chan 晒 数 传 人 绥 存 区 来 实现 : 


channels.core=> (def dc (chan (dropping-buffer 5) ) ) 
#'channeLs .core/dc 


channels.core=> (onto-chan dc (range 0 10) ) 
#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@147cOdef> 
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channels,core=> (<!! (async/into [] dc)) 
[0 12 3 4] 


这 段 代码 创建 了 一 个 channel， 其 使 用 一 个 缓存 区 容量 为 5 的 dropping-buffer。 我 们 将 数字 
0~9 写 和 人 channel， 虽 然 channel 的 绥 存 区 不 能 容纳 这 么 多 数字 ， 但 并 没有 阻塞 。 如 果 该 出 channel 
中 所 有 的 数字 ， 就 会 发 现 只 有 5$ 个 数 宇 一 一 后 面 的 数字 被 弃 用 了 。 


Clojure 还 提供 了 stLiding-buffer: 


chnannels,core=> (def sc (chan (sliding-buffer 5) ) ) 

#' channeLs .core/sc 

channels.core=> (onto-chan sc (range 0 10) ) 

#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@3071908b> 
channels,core=> (<!! (async/into [] sc)) 

[5 6 7 8 9] 


与 之 前 一 样 ， 这 段 代 码 创 建 了 一 个 容量 为 5 的 channel， 但 这 次 使 用 的 是 sliding-buffer。 
如 果 读 出 channel 中 所 有 的 数字 ， 会 发 现 输 出 的 是 最 后 号 人 的 5 个 数字 一 一 也 就 是 说 ， 问 一 个 缓存 
区 已 满 的 channel 中 写 人 数据 ，sLiding-buffer 将 会 弃 用 之 前 写 人 的 数据 。 稍 后 我 们 还 会 更 详细 
地 人 研究 channel， 下 面 先 来 看 看 core .async 的 男 一 个 主要 特性 一 一 go 块 。 


WW 小 乔 爱 问 : 
”为 什么 没有 容量 自动 增 大 的 缓存 区 ? 


我 们 已 经 学 习 了 core,async 订 提 供 的 全 部 三 种 缓存 区 类 型 一 一 阻塞 型 (blocking)、 弃 

用 新 值 型 (dropping) 和 移出 旧 值 型 (sliding)。 从 感觉 上 说 ， 如 果 缓 存 区 能 按 需 增加 容量 ， 

那 也 是 很 合理 的 。 为 什么 core.async 库 没 有 提供 这 样 的 缓存 区 类 型 ? 6 
其 中 的 原因 是 个 考生 第 谈 的 话题 ， 即 便 你 有 一 个 现在 看 上 去 “ 永 不 枯 音 ”的 资源 ， 总 有 

一 天 这 个 资源 还 是 会 被 用 尽 。 本 能 是 因为 时 过 境 迁 ， 当 初 的 程序 需要 解决 更 大 规模 的 问题 ; 

也 可 能 是 因为 存在 一 个 bug， 消 息 没有 被 及 时 处 理 ， 从 而 导致 堆积 。 
如 果 你 放弃 思 考 相 应 的 对 策 ， 那 未 来 的 某 个 时 间 就 有 可 能 出 现 一 个 破坏 性 极 强 、 隐 项 极 

深 且 难以 诊断 的 bug。 实 际 上 ， 让 进程 的 信箱 溢出 ， 是 让 Erlang 系统 全 面前 渍 的 为 数 不 多 的 

方法 之 一 "。 最 好 的 策略 是 在 现在 就 思考 如 何 处 理 缓存 区 被 塞 满 的 情况 ， 将 问题 消灭 在 萌芽 

状态 ， 


a. http://prog21.dadgum.com/43.html 


go 块 
线程 启动 和 运行 时 都 有 一 定 开 销 , 这 正 是 现在 的 程序 都 避免 直接 创建 线程 、 转 而 使 用 线程 池 
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(参见 2.4 太 的 “创建 线程 之 终极 版 ”部 分 ) 的 原因 。 实 际 上 ， 我们 在 以 前 的 例子 中 见 过 的 thread 
宏 内 部 也 使 用 了 CachedThreadPoo1。 


然而 线程 池 并 不 总 是 适用 。 尤 其 是 当 程序 阻塞 时 ， 使 用 线程 池 可 能 会 造成 肪 烦 。 
阻塞 市 来 的 问题 


线程 池 技 术 是 处 理 CPU 密 集 型 任务 的 利 融 一 一 任务 进行 时 会 占用 某 个 线程 , 任务 结束 后 将 线 
程 返还 给 线程 池 ，, 使 线程 可 以 被 复 用 。 但 涉及 线程 通信 时 使 用 线程 池 是 否 仍然 合适 呢 ? 如 采 线 程 
被 阻塞 ， 那 么 它 将 无 限期 被 占用 ， 这 就 削弱 了 使 用 线程 池 技 术 的 优势 。 


这 种 问题 是 有 一 些 解决 方案 的 , 但 它们 通常 会 对 代码 风格 加 以 限制 , 使 之 变 成 事件 驱动 的 形 
式 。 事 件 驱 动 是 一 种 编程 风格 ， 对 于 从 事 UI 编 程 或 事件 类 服务 融 编 程 的 程序 员 来 说 一 定 不 陌生 。 


虽然 这 些 方案 虱 能 解决 问题 , 但 它们 破坏 了 控制 流 的 卓然 的 表达 形式 ,让 代码 变 得 难以 阅读 
和 理解 。 更 糟糕 的 是 ,这些 方 案 还 会 大 量 使 用 全 局 状态 ， 因 为 事件 处 理 带 需要 保存 一 些 数 据 ， 以 
便 之 后 的 事件 处 理 带 使 用 。 我 们 已 经 学 习 过 这 个 绪论: 状态 和 并 发 最 好 不 要 混用 。 


go 块 提供 了 一 种 两 全 其 美的 解决 方案 一 一 既 可 以 写 出 事件 驱动 的 代码 来 解决 目前 磁 到 的 阻 
窒 问 题 , 又 可 以 不 牺牲 代码 的 结构 性 和 可 读 性 。 其 原理 是 go 块 在 底层 将 串 行 化 代码 透明 地 重 写 成 
了 事件 驱动 的 形式 。 


控制 反 转 


与 其 他 Lisp 方 言 类 似 ，Clojure 有 一 套 强大 的 安 系 统 。 如 打 你 用 过 其 他 语言 的 安 系 统 〈 比如 
CC++ 中 的 预 处 理 融 宏 )， 就 会 觉得 Lisp 的 宏 系 统 更 像 是 魔法 ， 它 可 以 进行 神奇 的 代码 变换 。go 
宏 就 是 其 中 一 个 小 厦 法 。 


go 块 中 的 代码 会 被 转换 成 一 个 状态 机 。 当 从 channel 中 读 出 消息 或 向 channel 中 写 和 人 消息 时 , 状 
态 机 将 暂停 ， 并 释放 它 所 占用 的 线程 的 控制 权 。 当 代码 可 以 继续 运行 时 ， 状 态 机 进行 一 次 状态 转 
换 ， 并 可 能 在 另 一 个 线程 中 继续 运行 。 


通过 这 样 的 控制 反 转 ，core.async 运 行 时 可 以 在 有 限 的 线程 池 中 高 效 地 运行 许多 go 块 。 我 
们 先 来 看 一 个 例子 ， 稍 后 再 看 看 到 底 有 多 么 高 效 。 


状态 机 暂停 
下 面 是 使 用 go 块 的 一 个 例子 


channels.core=> (def ch (chan)) 
#'channels .core/ch 
channels.core=> (go 
# => (let [x (<! ch) 
# => y (<! ch)] 
# => (println "Sum:" (+ x y)))) 
#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@13ac7b98> 
channels.core=> (>!! ch 3) 
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nil 

channels.core=> (>!! ch 4) 
nil 

Sum: 7 


这 段 代码 首先 创建 了 一 个 channel ch。 然 后 创建 了 一 个 go 块 ， 用 来 从 ch 中 读 取 两 个 值 ， 并 输 
出 两 个 值 的 和 。 虽 然 看 上 去 go 块 从 channel 中 读 取 数据 时 应 当 阻 塞 ， 实 际 上 却 发 生 了 有 趣 的 事情 。 


这 上 段 代码 并 没有 用 <!! 从 channel 中 读 取 数据 ,而 是 使 用 了 <!。 单个 叹 号 意味 着 本 次 读 channel 
进行 暂停 操作 ， 而 不 是 进行 阻塞 操作 。 同 理 ，>! 是 >!11 的 暂停 版 本 ”。 


如 图 6-1 所 示 ，8go 块 将 串 行 的 代码 转换 成 有 3 个 状态 的 状态 机 。 


图 6-1 ” 串 行 代码 对 应 的 状态 机 


该 状态 机 包括 以 下 3 个 状态 : 

(1) 初始 状态 会 直接 和 暂停， 等 竺 ch 中 有 数据 可 以 被 谈 取 。 满 足 条 件 时 ， 状 态 机 进入 状态 2。 

(2) 状态 机 首先 将 从 ch 中 该 取 的 值 绑 定 到 x 上 ,然后 暂停 ,等 答 ch 中 下 一 个 可 以 被 谈 取 的 数据 。 
满足 条 件 时 ， 状 态 机 进入 状态 3。 

(3) 状态 机 将 从 ch 中 该 取 的 值 绑 定 到 y 上 ， 输 出 结 末 ， 并 终止。 


1 小 乔 爱 问 : 
过 如 果 go 块 中 发 生 阻塞 呢 ? 


如 果 go 块 中 使 用 了 一 个 阻塞 函数 ,比如 <!1, 那么 当前 运行 的 线程 会 被 阻塞 。 虽然 代码 
的 正确 性 不 会 受到 影响 〈 不 过 ， 会 因为 没有 可 运行 的 线程 而 陷入 
死 锁 ) ， 但 是 这 样 做 违背 了 使 用 go 块 的 本 意 。 如 果 误 用 了 阻塞 函数 ， 你 不 会 看 到 警告 ， 也 就 
是 说 你 要 保证 使 用 了 正确 的 肠 数 。 


幸运 的 是 ， 如 果 在 不 能 使 用 暂停 骂 数 的 地 方 使 用 了 暂停 函数 ， 你 会 得 到 


channels.core=> (<! ch) 
AssertionError Assert failed: <! used not in (go ...) block 
nil clojure.core.async/<! (async.clj:83) 


呈 


2 
2 


中 之 后 将 “进行 暂停 操作 的 函数 ”简称 为 “暂停 函数 ”; 将 “进行 阻塞 操作 的 函数 ”简称 为 “阻塞 函数 ” 
一 一 幸 者 注 
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go 块 的 成 本 很 低 


go0 块 的 意义 主要 在 于 其 效率 。 与 使 用 线程 不 同 , 使 用 go 块 的 成 本 很 低 ， 因 此 可 以 创建 很 多 go 
块 而 不 用 担心 耗 尽 资源 。 这 看 上 去 是 个 小 小 的 改进 , 但 实际 上 , 不 用 担心 资源 而 能 随意 创建 并 发 
任务 有 着 革命 性 的 意义 。 

你 也 许 注意 到 了 go 返回 的 是 一 个 channel ( thread 也 是 返回 channel )。 go 块 运行 完成 时 会 将 结 
条 写 到 这 个 channel 中 : 


channels.core=> (<!! (go (+ 3 4) )) 
7 


下 面 这 个 简单 的 函数 会 创建 大 量 go 块 ， 从 结果 可 以 看 出 go 块 的 成 本 是 很 低 的 : 


CSP/channels/src/channels/core.cl] 
(defn go-add [x y] 
(<!! (nth (iterate #(go (inc (<! %))) (go x)) y))) 


这 个 函数 可 能 是 “世界 上 最 低 效 的 加 和 水 数 ” 了 。 它 创建 了 y 个 go 块 形 成 的 流水 线 ， 其 中 
一 个 go 块 都 将 其 参数 加 1。 


来 分 析 一 下 其 工作 过 程 的 每 个 阶段 : 


(1) 匿名 肾 数 #(go (inc (<! %))) 创 建 了 一 个 go 块 ， 这 个 go 块 接 受 一 个 channel， 从 中 读 出 
一 个 值 ， 并 返回 一 个 channel ( 其 中 包含 了 递增 后 的 值 ); 

(2) 上 述 匿 名 函数 被 传 给 iterate, iterate 使 用 的 初始 值 是 (go x)( 这 个 channel 中 只 包含 x )。 
回忆 一 下 ，iterate 会 返回 如 下 形式 的 懒惰 数组 : (x (f x) (f (f x)) (f (f (f 
XX))) won)s 

(3) 使 用 nth 读 出 上 述 数 组 中 第 y 个 元 素 ， 这 是 一 个 channel， 其 中 的 值 是 将 x 递增 y 次 的 结 

(4) 使 用 <! 1 从 上 述 channel 中 读 出 结 


来 测试 一 下 这 上段 代 码 : 


channels,.core=> (time (go-add 10 10)) 
"Elapsed time: 1.935 msecs" 

20 

channels,.core=> (time (go-add 10 1000)) 
"Elapsed time: 5.311 msecs" 

1010 

channels,.core=> (time (go-add 10 100000)) 
"Elapsed time: 734.91 msecs" 

100010 


可 以 看 到 ,创建 并 运行 100 000 个 go 块 需要 花费 3/4 秒 。 这 意味 着 go 块 的 性 能 比 起 Elixir 的 进程 
室 不 逊色 一 一 这 个 成 绩 非 常 优 秀 ， 因 为 Elixir 运 行 在 以 并 发 性 能 为 设计 主旨 的 Erlang 虚 拟 机 中 ， 而 
Clojure 却 是 运行 在 JVM 中 。 
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我 们 已 经 学 习 了 channel 和 go 块 这 两 种 技术 ， 现 在 可 以 将 两 者 结合 使 用 ,构造 出 更 复杂 的 
channel 探 作 。 


在 channel 上 进行 操作 


如 果 你 感 党 channel 与 数组 有 些 相 像 ， 那 你 并 没有 销 。 与 数组 类 似 ，channel 代 表 了 一 系列 有 
序 的 值 ; 我 们 可 以 将 一 些 高 级 函数 施加 在 channel 中 的 全 部 元 素 上 一 一 比如 map 函 数 、fiLter 函 数 
等 ; 我 们 还 可 以 将 这 些 亲 数 串联 起 来 ， 构 建 复 杂 的 操作 。 


在 channel 上 进行 映射 
下 面 是 channel 版 的 map 王 数 : 


CSP/channels/src/channels/core.cj 
(defn map-chan [f from] 
(Let [to (chan) ] 
(go- loop [ 
(when-let [x (<! from)] 
(>! to (f x)) 
(recur)) 
(close! to)) 
to)) 


这 个 函数 接受 一 个 函数 f 和 一 个 源 channel from。 首 先 ， 这 段 代 码 创 建 了 一 个 目标 channel to， 
to 将 作为 函数 的 返回 值 。 然 后 ， 使 用 go- toop 创 建 一 个 go 块 ，go- toop 是 一 个 辅助 函数 ， 等 价 于 
(go (Loop ,..))。 循 环 体 中 使 用 when-Let 从 from 中 读 出 值 并 绑 定 到 x 上 。 如 果 x 不 为 nuLL， 则 
when- tet 中 的 代码 会 被 执行 ，(f x) 将 被 写 人 to 中 ， 并 且 循 环 会 继续 进行 。 如 果 x 为 nuLL，to 会 


测试 一 下 这 个 函数 : 


channels.core=> (def ch (chan 10)) 
#' channels .core/ch 


channels,.core=> (def mapped (map-chan (partial * 2) ch)) 
#' channels.core/mapped 


channels.core=> (onto-chan ch (range 0 10)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@9f3d43e> 
channels,.core=> (<!! (async/into [] mapped)) 
[0 2468 10 12 14 16 18] 


按照 惯例 ，core.async 提 供 了 类 似 于 map-chan 的 函数 map<。 它 还 提供 了 fiLter 的 channel 


版 fiLter<、mapcat 的 channel 版 napcat<， 等 等 。 我 们 还 可 以 组 合 使 用 这 些 果 数 ， 串 联 成 一 个 
channel 的 人 处理 链 : 


channels.core=> (def ch (to-chan (range 0 10))) 
#'channels.core/ch 


channels.core=> (<!! (async/into [] (map< (partial * 2) (filter< even? ch)))) 
[0 4 8 12 16] 
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上 面 这 段 代 码 使 用 了 core.async 提 供 的 男 一 个 辅助 函数 to-chan， 其 创建 并 返回 一 个 
channel, 这 个 channel 中 包含 了 输入 数组 中 的 所 有 元 素 , 在 数组 中 的 元 素 用 尺 后 这 个 channel 会 关闭。 

现在 来 做 一 个 有 趣 的 试验 ， 以 此 为 第 一 天 的 学 习 做 个 结 

并 发 版 本 的 埃 氏 筛 


我 们 现在 来 实现 一 个 并 发 版 本 的 埃 氏 得 。get-primes 函 数 会 返回 一 个 channel,， 其 中 包含 了 
Limit 以 内 〈 含 Limit ) 的 所 有 系数 (从 小 到 大 排列 ): 


CSP/Sieve/src/sieve/core.cl] 


(defn factor? [x y] 
(zero? (mod y x))) 


(defn get-primes [limit] 
(Let [primes (chan) 
numbers (to-chan (range 2 limit))] 
(go-Loop [ch numbers ] 
(when-let [prime (<! ch)] 
(>! primes prime) 
(recur (remove< (partial factor? prime) ch))) 
(close! primes)) 
primes )) 


稍 后 将 简要 介绍 这 段 代 码 的 工作 原理 ( 建议 你 先 目 己 整 理 一 下 思路 一 一 所 有 必要 的 知识 之 前 
都 已 经 介绍 过 了 )。 我们 还 是 先 来 验证 一 下 其 正确 性 。 下 面 的 main 国 数 会 调用 get -primes， 并 输 
出 其 返回 的 channel 中 的 所 有 值 : 


CSP/Sieve/src/sieve/core.cl) 
(defn -main [Limit] 
(Let [primes (get-primes (edn/read-string limit))] 
(Loop [] 
(when-let [prime (<!! primes)] 
(printLn prime) 
(recur))))) 


运行 一 下 ， 会 得 到 以 下 结 
Lelin run 100000 


$ 
2 
3 
5 
7 
11 


99971 
99989 
99991 


GD 埃 拉 托 斯 特 尼 ( Eratosthenes ) 盘 法 ， 简 称 埃 氏 科 ， 是 一 种 检定 素数 的 简易 算法 。 一 一 译 者 注 
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现在 来 介绍 get-primes 的 工作 原理 。 首 先 ， 创 建 一 个 channel primes，primes 将 作为 函数 
的 返回 值 。 然 后 ， 进 入 循环 ，ch 的 初始 信 是 numbers，to-chan 负 责 将 从 2 到 Limit 之 间 的 整数 写 
和 numbers。 

首 完 ， 和 循环 从 ch 中 读 取 第 一 个 元 素 ， 这 个 元 系 肯 定 是 系数 (之 后 会 解释 原因 )， 所 以 将 被 写 
入 primes。 然 后 ， 进 入 下 一 轮 循环 ， 与 第 一 轮 循环 不 同 的 是 ch 的 值 变 为 (remove< (partial 
factor? prime) ch) 的 结 

remove< 国 数 类 似 于 fitter<， 区 别 在 于 它 返回 一 个 channel， 其 中 只 包含 断言 为 faLse 的 值 。 
在 本 例 中 ， 这 排除 了 以 上 一 轮 认定 的 双 数 为 因子 的 所 有 数 。 

综 上 所 述 ，get-primes 创 建 了 一 个 channel 的 流水 线 。 第 一 个 channel 包 含 从 2 到 Limit 的 所 有 
整数 ， 第 二 个 channel 排 除了 以 2 为 因子 的 所 有 整数 ， 第 三 个 channel 排 除了 以 3 为 因子 的 所 有 整数 ， 
以 此 类 推 ( 如 图 6-2 所 示 )。 


回 7 1 [3 0 四 


图 6-2 ”并 发 版 本 的 埃 氏 入 


希望 大 家 不 要 误会 ,上面 这 个 例子 并 不 是 实现 并 行 埃 氏 沛 的 最 住 方法 一 一 它 为 了 演示 功能 而 
滥用 了 channel。 不 过 这 很 好 地 演示 了 如 何 将 channel 组 合 在 一 起 实现 某 种 特定 的 通信 模式 。 
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Pa Aa 士 
第 一 天 总 纺 


第 一 天 的 学 习 即 将 结束 。 第 二 天 将 学 习 如 何 从 多 个 channel 中 读 出 数据 ， 以 及 如 何 用 channel 
和 go 块 构造 IO 密 集 型 的 程序 。 


第 一 天 我 们 学 到 了 什么 
core.async 的 两 大 基石 是 channel 和 go 块 : 


口 默认 情况 下 ，channel 是 同步 的 (无 缓存 的 ) 
阻 早 ， 直 到 另 一 个 任务 从 channel 中 该 出 消息 ; 

口 channel 也 可 以 是 有 绥 存 的 。 在 缕 存 区 已 满 时 可 以 使 用 不 同 的 缕 存 策略 一 一 阻塞 型 (blocking )、 
弃 用 新 值 型 (dropping ) 和 移出 旧 值 型 (sliding ); 

口 通过 控制 反 转 ，go 块 将 串 行 代码 重 写成 一 个 状态 机 。go 块 不 会 进行 阻塞 ， 而 是 暂 集 状态 
机 ， 这 样 当 前 所 处 的 线程 束 可 以 为 为 一 个 go 块 所 使 用 ; 

口 channel 操 作 的 阻 窄 版 本 的 子 数 名 是 以 两 个 感叹 号 (1!11 ) 结尾 ， 而 暂停 版 本 的 函数 名 是 以 
一 个 感叹 号 (! ) 结尾 。 


第 一 天 自习 
查找 


口 阅读 core.async 的 官方 文档 。 

口 观看 Timothy Baldridge 的 视频 教程 “Core Async Go Macro Internals”， 或 阅读 Huey Petersen 
的 博文 “The State Machines of core.async”。 这 两 骗 文 献 都 描述 了 go 宏 是 如 何 实 现 控制 反 
转 的 。 

实践 

口 本 节 的 map-chan 创 建 并 返回 了 一 个 同步 的 〈 无 缓存 的 ) channel。 如 果 其 使 用 一 个 有 绥 存 
的 channel 会 发 生 什 么 ? 哪 一 种 选择 更 好 ? 什么 情况 下 适用 有 组 人 存 的 channel? 

D core,.async 不 仅 提 供 了 map<， 还 提供 了 map>。 这 两 者 有 什么 区 别 ?” 沦 试 自己 实现 一 个 
map>。map< 和 map> 分 别 适用 于 什么 场景 ? 

口 实现 一 个 基于 channel 的 并 行 map 函 数 〈 类 似 于 Clojure 中 的 pmap 辆 数 ， 或 者 类 似 于 在 前 面 
章节 中 用 Elixir 实 现 的 并 行 map 函 数 )。 


回 一 个 channel] 写 人 数据 的 操作 将 一 二 被 
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今天 将 学 习 如 何 使 用 core.async 库 ， 让 异步 IO 的 人 处理 变 得 简洁 易 懂 。 在 此 之 前 ， 需 要 先 了 
解 一 个 之 前 没有 提 及 的 特性 一 一 如 何 同 时 处 理 多 个 channel。 
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处 理 多 个 channel 


到 目前 为 止 ， 我 们 在 某 个 时 间 仅 处 理 一 个 channel， 但 我 们 能 做 的 并 不 仅 限 于 此 。 使 用 atLt: 
宏 可 以 处 理 多 个 channel: 


channels.core=> (def ch1l (chan) ) 
#'channels.core/chl 
channels.core=> (def ch2 (chan)) 
#'channels.core/ch2 
channels.core=> (go-Loop [] 


# => (alt! 
# => chl ([x] (printLn "Read" x "from channel 1")) 
# => ch2 ([x] (printLn "Twice" x "is” (* x 2)))) 


# => (recur)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@d8fd215> 

channels.core=> (>!! ch1L "foo") 

Read foo from channel 1 

nil 

channels.core=> (>!! ch2 21) 

Twice 21 is 42 

nil 

这 段 代码 中 ， 痛 先 创 建 了 两 个 channel: ch1 和 ch2， 然 后 创建 了 一 个 go 块 ， 其 会 不 断 循环 并 
使 用 aLt! 从 两 个 channel 中 读 取 数据 。 如 果 能 从 ch1 中 读 取 数据 ,那么 将 数据 直接 输出 ; 如 果 能 从 
ch2 中 读 取 数 据 ， 那 么 将 数据 翻 倍 后 再 输出 。 


从 这 上段 代码 中 很 容易 就 能 理解 aLt! 安 的 工作 原理 一 一 它 接 受 成 对 的 参数 , 每 对 的 第 一 个 参数 
是 一 个 channel， 第 二 个 参数 是 一 段 代 码 ， 从 channel 中 读 出 数据 后 将 执行 这 段 代 码 。 在 本 例 中 ， 
这 上段 代码 看 上 去 像 是 一 个 匿名 孔 数 ， 从 channel 中 读 出 的 值 被 赋 给 x， 并 通过 print1ln 输 出 。 但 它 
实质 上 并 不 是 匿名 图 数 一 一 它 没 有 使 用 fn 构造 匿名 国 数 。 


这 就 是 Clojure 的 宏 系 统 施加 的 为 一 个 魔法 , 比 起 使 用 匿名 函数 , atLt! 安 的 这 种 用 法 显得 更 简 


清高 效 。 


1 小 乔 爱 问 : 
a 如 果 是 向 多 个 channel 中 写 入 数据 呢 ? 

我 们 刚才 只 是 学 习 了 alt! 宏 的 皮毛 一 一 类 似 于 从 多 个 channel 读 出 数据 ,alt! 宏 也 可 以 
用 于 向 多 个 channel 写 入 数据 ， 或 者 将 读 写 混 用 。 本 书 并 不 会 涉及 这 种 用 法 ， 如 果 读 者 想 深 
入 了 解 alLt!， 可 以 查看 官方 文档 。 


超时 
timeout 吨 数 返 回 一 个 channel， 这 个 channel 在 指定 的 时 间 (以 毫秒 为 单位 ) 过 后 会 被 关闭: 
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channels.core=> (time (<!! (timeout 10000))) 
"Elapsed time: 10001.662 msecs" 
nil 


timeout 与 atlt 1! 一 起 使 用 ， 可 以 为 channel 操 作 设 置 超时 时 间 ， 比 如 : 


channels.core=> (def ch (chan)) 
#'channels.core/ch 
channels.core=> (let [t (timeout 10000)] 
# => (go (alt! 
# => ch ([x] (printLn "Read”" x "from channel")) 


# => 七 (printLn "Timed out")))) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@28134be9> 
channels. core=> 
Timed out 


设置 超时 并 没有 什么 新 鲜 ， 但 这 种 方法 使 得 超时 具象 化 了 (用 一 个 对 象 来 代表 超时 操作 )， 
稍 后 将 会 看 到 这 项 改进 是 非常 有 用 的 。 

具象 化 的 超时 

大 部 分 系统 是 以 请 求 为 对 象 来 设置 超时 时 间 的 ， 比 如 Java 的 URLConnection 类 提供 的 
setReadTimeout () 方 法 。 如 果 服 务 喜 在 一 定时 间 内 没有 啊 应 , read() 会 抛 出 异常 TOException。 

这 只 适用 于 对 单个 请 求 设置 超时 时 间 , 如 果 要 为 几 个 串 行 的 请 求 设置 一 个 总 的 超时 时 间 ， 上 
述 方法 就 不 能 解决 问题 ， 而 具象 化 的 超时 却 可 以 。 只 需要 创建 一 个 超时 对 象 ， 并 在 串 行 的 几 个 请 
求 中 都 使 用 这 个 超时 对 象 即 可 。 

为 说 明 这 一 点 ,我 们 将 昨天 创建 的 素数 角 稍 微 修 改 一 下 ,使 其 不 接受 数值 范围 ， 而 是 接受 一 
个 时 间 。 素 数 盘 将 在 规定 时 间 内 尽 可 能 多 地 产生 素数 。 

先 修 改 get-primes， 使 其 不 断 产生 素数 : 


CSP/SieveTimeout/src/sieve/core.clj 


(defn get-primes [|] 
(Let [primes (chan) 
> numbers (to-chan (iterate inc 2))] 
(go-Loop [ch numbers] 
(when-let [prime (<! ch)] 
(>! primes prime) 
(recur (remove< (partial factor? prime) ch))) 
(close! primes)) 
primes)) 


之 前 channel 的 初始 值 是 由 (range 2 Limit) 产 生 的 ， 而 这 次 是 用 无 穷 数 组 (iterate inc 2)。 
下 面 的 代码 使 用 了 get-primes: 


CSP/SieveTimeout/src/sieve/core.clj 
(defn -main [seconds] 
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(let [primes (get-primes) 


> limit (timeout (* (edn/read-string seconds) 1000))] 
(Loop [] 

> (alt!! :priority true 

> limit nil 

> primes ([prime] (printLn prime) (recur)))))) 


这 段 代 码 中 使 用 了 atlt!!， 如 你 所 料 ， 它 是 att! 的 阻塞 版 本 。 这 段 代码 中 的 alt! 1! 将 进行 阻 
军 ， 和 直到 产生 了 一 个 新 的 双 数 ,或 者 到 达 设 置 的 超时 时 间 Limit 而 返回 nil。:priority true 选 
项 确保 了 alt! 1 的 子 句 (都 可 以 执行 时 ) 是 按 代 码 顺 序 执行 的 ( 默认 情况 下 ， 如 果 两 个 子 句 都 可 
以 执行 ， 它 们 执行 的 顺序 是 不 确定 的 )， 这 样 就 尽量 避免 了 由 于 产生 系数 的 速度 过 快 而 导致 超时 
的 子 句 无 法 执行 的 情况 。 这 个 例子 展示 了 如 何 目 然 地 设置 超时 时 间 一 一 相 比 为 每 个 请 求 设 置 超时 
时 间 ， 这 种 方式 显得 更 加 自然 。 


下 一 节 将 使 用 超时 机 制 和 Clojure 的 宏 系统 来 构建 一 个 辅助 工具 ， 它 适用 于 一 个 普遍 的 场 
景 一 轮 询 。 


异步 轮 询 

稍 后 我 们 将 构建 一 个 RSS 阅 读 器 。RSS 阅 读 器 需要 轮 询 指定 的 新 闻 feed 来 检测 是 否 有 新 的 文 
章 。 本 节 我 们 将 使 用 超时 机 制 和 Clojure 的 安 系统 来 构建 一 个 辅助 工具 , 它 可 以 轻松 高 效 地 进行 异 
步 轮 询 。 

轮 询 函 数 

要 实现 纶 询 功能 ， 需 要 用 到 之 前 提 到 的 timeout 函 数 。 下 面 这 个 函数 接受 两 个 参数 : 轮 询 周 
期 (以 秘 为 单位 ) 和 一 个 函数 ， 这 个 函数 每 隔 一 个 轮 询 周期 会 被 调用 一 次 : 


CSP/Polling/src/polling/core.clj 


(defn poll-fn [interval action] 
(Let [seconds (* interval 1000)] 
(go (while true 
(action) 
(<! (timeout seconds)))))) 


这 个 函数 十 分 简单 ， 并 且 能 正常 运行 : 


polling.core=> (poLL-fn 10 #(println "PoLLing at:" (System/currentTimeMillis))) 
#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@6e624159> 
polling.core=> 

Polling at: 1388827086165 

Polling at: 1388827096166 

Polling at: 1388827106168 


不 过 这 里 有 一 个 问题 一 一 也 许 你 看 到 poll-fn 是 在 go 块 中 对 传人 的 孔 数 进行 调用 的 ， 因 此 就 
认为 传人 的 函数 中 可 以 调用 暂 集 也 数 。 如 来 这 样 做 ， 会 发 生 以 下 寞 第 : 
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polling.core=> (def ch (to-chan (iterate inc 0))) 

#'polling.core/ch 

polling.core=> (poLL-fn 10 #(println "Read:" (<! ch))) 

Exception in thread "async-dispatch-1" java.lang.AssertionError: 
Assert failed: <! used not in (go ...) block 

nil 


问题 的 原因 在 于 和 暂停 函数 必须 直接 在 go 块 中 调用 一 一 在 这 一 点 上 Clojure 的 安 魔法 也 无 能 
为 力 。 
轮 询 宏 


之 前 使 用 函数 进行 轮 询 ， 而 男 一 种 轮 询 的 方法 是 使 用 宏 : 


CSP/Polling/src/polling/core.cjj 
(defmacro poll [intervaL & body] 
‘(let [seconds# (* ~interval 1000) ] 
(go (while true 
(do ~@body) 
(<! (timeout seconds#)))))) 
本 书 不 会 详细 介绍 Clojure 的 宏 , 因此 你 只 能 暂且 接受 本 市 的 内 容 。 稍 后 会 详细 讲解 potll 的 工 
作 原 理 ， 下 面 这 几 点 会 帮助 我 们 理解 其 工作 原理 。 
口 编 详 系统 不 是 直接 编 译 安 ， 而 是 编译 宏 展 开 后 的 代码 。 
口 反 引号 〈” ) 是 一 个 运算 符 ， 用 于 引用 代码 。 它 并 不 执行 其 中 的 代码 ， 而 是 返回 代码 的 可 
编译 形式 。 
口 在 宏 中 ， 可 以 通过 ~ 和 ~@ 操 作 符 来 引用 宏 的 参数 。 
口 在 变量 名 后 使 用 # 后 级 ， 可 以 让 Clojure 自 动 生 成 一 个 唯一 名 字 ( 以 确保 宏 使 用 的 变量 名 和 
传 给 宏 的 代码 中 的 变量 名 不 会 冲突 )。 
来 测试 一 个 宏 poll: 


polling.core=> (poll 10 
# => (println "Polling at:" (System/currentTimeMillis)) 


# => (println (<! ch))) 
#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@lbec079e> 
polling.core=> 

Polling at: 1388829368011 

0 

Polling at: 1388829378018 

1 


由 于 宏 是 在 编译 时 展开 ， 因 此 传 给 pol1l 的 代码 是 内 联 的 (inlined )， 会 被 直接 奉 换 到 potLL 的 
go 块 中 ,也 就 是 说 代码 中 可 以 包含 暂停 函数 。 使 用 宏 的 好 处 不 只 如 此 。 我 们 不 必 再 传人 一 个 完整 
的 男 数 ， 而 是 传人 一 个 代码 片段 ， 这 样 就 不 用 再 借助 匿名 果 数 ， 进 而 代码 看 上 去 会 更 自然 。 事 实 
上 ， 我 们 创建 了 一 种 〈 不 同 于 函数 的 ) 控制 结构 。 
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通过 展开 pol1l 可 以 检查 它 是 否 正确 : 


polling.core=> (macroexpand-1 
# => '(poll 10 
# => (printLn "PoLLing at:" (System/currentTimeMillis)) 
# => (printLn (<! ch)))) 
(clojure.core/let [seconds 2691 auto (clojure.core/* 10 1000)] 
(clojure.core.async/go 
(clojure.core/while true 
(do 
(println "PoLLing at:" (System/currentTimeMillis)) 
(println (<! ch))) 
(clojure.core.async/<! (clojure.core.async/timeout seconds 2691 auto ))))) 


为 了 方便 阅读 , 本 书 对 上 面 代 码 中 macroexpand-1 的 输出 结果 进行 了 格式 上 的 调整 。 可 以 看 
到 ， 传 给 pol1l 的 代码 被 “粘贴 ”到 了 宏 的 代码 中 ， 并 且 seconds# 被 转换 成 了 一 个 唯一 名 字 ( 如 
果 传 给 poll 的 代码 中 ，seconds 这 个 名 字 有 其 他 用 途 ， 那 么 这 个 转换 就 尤为 必要 了 )。 

下 一 厄 的 例子 中 会 使 用 poll 宏 。 


卉 步 I0 


在 IO 这 个 领域 , 异步 代码 吴 手 不 凡 一 一 与 传统 的 一 个 线程 进行 一 个 连接 不 同 , 卉 步 10 可 以 一 
下 进行 很 多 连接 ， 当 其 中 有 一 个 连接 的 数据 可 用 时 ， 会 收 到 一 个 通知 。 这 是 一 个 很 强大 的 技术 ， 
但 使 用 起 来 也 兢 具 挑战 性 ， 因 为 异步 代码 往 往 会 是 回调 舱 套 回调 ， 慢 慢 滨 变 成 一 团 糟 。 本 冰 我 们 
来 学习 core,async 和 是 如 何 让 异步 代码 变 得 催 河 的 。 


继续 前 几 章 词 频 统 计 的 例子 ， 丁 将 创建 一 个 RSS 阅 读 硕 ， 用 来 监听 新 闻 feed， 当 检测 到 新 
的 文章 时 进行 词 数 统计 。 我 们 将 创建 春 干 并 发 的 go 块 ， 并 将 其 用 channel 连 接 成 一 个 流水 线 : 


(1) 底层 的 go 块 用 于 监听 某 个 fted， 每 60 秒 进行 一 次 轮 询 。 它 首先 解析 轮 询 得 到 的 XML ， 然 
后 从 中 提取 出 文章 的 链接 ， 最 后 将 其 传 给 流水 线 。 

(2) 下 一 层 的 go 块 维护 了 从 某 个 feed 中 收 到 的 文章 链接 的 列表 。 当 它 发 现 一 篇 新 的 文章 时 , 就 
将 文章 的 链接 传 给 流水 线 。 

(3) 下 一 层 的 go 块 依次 接受 新 的 文章 链接 ,并 统计 文章 中 的 词 数 ， 再 将 计数 结果 传 给 流水 线 。 

(4) 将 多 个 feed 的 计数 结果 合并 到 一 个 channel 中 。 

(5) 最 高 层 的 go 块 监听 合并 后 的 channel， 当 有 新 的 计数 结果 产后 时 ， 将 该 结果 输出 。 


整个 流水 线 的 结构 如 图 6-3 所 示 。 


中 与 前 几 音 不同， 此 处 只 统计 词 数 ， 而 不 统计 词 频 。 一 一 译 者 注 
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新 闻 feed 


统计 词 数 


新 文章 
0 
0 


ER 


图 6-3 RSS 阅 读 需 的 结构 
先 来 看 看 如 何 将 一 个 现成 的 异步 IO 库 集成 到 core.async 中 。 
从 回调 转向 channel 
本 例 将 使 用 http-kit 库 ”。 与 许多 异步 10 库 类 似 ， 当 一 个 操作 完成 时 ，http-kit 会 调用 回调 函数 : 


wordcount.core=> (require '[org.httpkit.client :as http]) 
nil 
wordcount.core=> (defn handle-response [responsel 

# => (Let [url (get-in response [:opts :ur1l]) 


# => status (:status response)] 


# => (println "Fetched:" url "with status:" status))) 


#'wordcount.core/handle-response 

wordcount.core=> (http/get "http://paulbutcher.com/" handle-response) 
#<core$promise$reify 6310@3a9280d0: :pending> 

wordcount. core=> 

Fetched: http://paulbutcher.com/ with status: 200 


现在 的 任务 是 对 http/get 进 行 封装 ， 将 http-kit 集 成 到 core.async 中 。 这 里 将 用 到 一 个 陌生 
的 函数 put!， 它 不 必 在 go 块 中 调用 。 它 可 以 向 channel 写 人 人 数据， 与 之 前 不 同 ， 它 只 是 发 起 写 入 
而 并 不 关心 结果 ( 既 不 会 进行 阻塞 也 不 会 进行 暂停 ): 


CSP/WordCount/src/wordcount/http.clj 
(defn http-get [url] 
(Let [ch (chan)] 
(http/get url (fn [response] 
(if (= 200 (:status response)) 
(put! ch response) 


(do (report-error response) (close! ch))))) 
ch)) 


QD) http://http-kit.org 
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这 段 代码 首先 创建 了 一 个 channel, 它 将 作为 函数 的 返回 值 ( 你 应 该 已 经 很 熟悉 这 个 模式 了 ); 
然后 调用 了 http/get， 并 立刻 返回 。 在 未 来 某 个 时 间 ， 当 GET 操 作 完 成 时 ， 回 调 艺 数 将 被 调用 。 
如 果 GET 操 作 返 回 的 状态 是 200 ( 表示 成 功 ), 回调 函数 会 将 GET 操 作 的 啊 应 内 容 写 入 channel; 如 
果 状 态 不 是 200， 回 调 函 数 会 报告 一 个 错误 并 关闭 channel。 


下 一 节 将 创建 轮 询 RSS feed 的 函数 。 
轮 询 feed 
我 们 已 经 有 了 http-get 和 potL， 如 你 所 料 ， 通 过 简单 的 代码 就 可 以 轮 询 RSS feed: 


CSP/WordCount/src/wordcount/feed.clj 
(def poll-interval 60) 


; Simple-minded feed-polling function 
; WARNING: Don't Use In production (use conditional get instead) 


(defn poll-feed [url] 
(Let [ch (chan)] 
(poll poll-interval 
(when-let [response (<! (http-get url))] 
(Let [feed (parse-feed (:body response))] 


(onto-chan ch (get-links feed) false)))) 
ch)) 


parse-feed 和 get-Links 这 两 个 函数 会 使 用 Rome 库 "来 解析 feed 所 返回 的 XML 。 本 书 不 再 介 
绍 这 两 个 也 数 ， 你 可 以 在 本 书 配 套 代 人 码 中 找到 它们 。 


get-Links 会 返回 链接 的 列表 , 通过 onto-chan 将 这 个 列表 写 人 ch。 默认 情况 下 , onto-chan 
会 在 写 完 列表 后 关闭 channel， 这 里 通过 设置 onto-chan 的 最 后 一 个 参数 使 其 不 关闭 channel。 


来 测试 一 下 poll-feed: 


wordcount.core=> (ns wordcount. feed) 
nil 
wordcount. feed=> (def feed (poll-feed "http://www.cbsnews.com/feeds/rss/main.rss")) 
#'wordcount. feed/feed 
wordcount. feed=> (Loop [] 
# => (when-let [urL (<!! feed)] 


# => (printLn url) 


# => (recur))) 
http://ww.cbsnews.com/news/three-year-old-dies-after-visit-to-dentist-in-hawaii/ 
http://www.cbsnews.com/news/obama-unemployment-benefits-expiration-just-plain-cruel/ 


http://ww.cbsnews.com/news/rand-paul-says-hes-suing-over-nsa-surveillance-programs/ 


GD http://rometools.github.io/rome/ 
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下 面 来 看 看 如 何 对 poLL- feed 所 返回 的 链接 进行 去 重 。 
请 勿 轻易 尝试 
对 于 本 书 来 说 , 用 这 样 简单 的 轮 询 策略 来 举例 是 为 了 方便 理解 ,请 不 要 在 产品 环境 中 使 
用 这 个 策略 。 轮 询 时 每 次 都 获取 完整 的 feed 是 不 必要 的 ， 这 会 增加 网 络 带 宽 的 压力 和 被 轮 询 
服务 器 的 压力 ， 可 以 通过 HTTP 的 条 件 GETa 来 减 小 压力 。 


a. http://fshbowl.pastiche.org/2002/10/21http _ conditional get for rss hackers/ 


对 链接 进行 去 重 


pottL- feed 函数 进行 轮 询 时 ， 会 返回 feed 中 所 有 的 链接 ， 其 中 包含 大 量 重复 的 链接 。 我 们 需 
要 的 channel 应 该 只 包含 feed 中 出 现 的 新 链接 。 可 以 用 下 面 这 个 函数 达到 目的 ; 


CSP/WordCount/src/wordcount/feed.clj 


(defn new-Links [url] 
(Let [in (poll-feed url) 
out (chan)] 
(go-Loop [Links #{}] 
(Let [link (<! in)] 
(if (contains? links link) 
(recur links) 
(do 
(>! out link) 
(recur (conj Links link)))))) 
out ) ) 


首先 ， 这 段 代 码 创 建 了 两 个 channel: in 和 out。in 是 由 poLL-feed 国 数 返 回 的 ; feed 中 的 新 
链接 将 被 写 人 out。 这 段 代 码 在 go 块 中 进行 了 一 个 循环 ， 用 于 维护 目前 接收 到 的 链接 的 集合 
Links，Links 的 初始 值 是 空 集 合 #{}。 每 当 从 in 中 读 出 一 个 链接 时 ， 就 需要 检查 Links 中 是 否 已 
存在 该 链接 。 如 果 已 经 存在 ， 就 什么 也 不 做 ; 否则 就 将 其 写 入 out 并 添加 到 Links 中 。 


在 REPL 中 测试 一 下 ,这 次 不 再 会 每 隅 60 秒 输出 一 堆 链 接 , 而 是 仅 在 检测 到 新 链接 时 才 会 有 输出 。 
现在 我 们 已 经 从 feed 中 获取 了 新 文章 的 链接 , 接 下 来 就 可 以 依次 获取 文革 的 内 容 并 统计 词 数 了 。 
统计 词 数 

根据 之 前 所 学 的 知识 ， 很 容易 就 可 以 实现 get -counts 函 数 : 


CSP/WordCount/src/wordcount/core.cj 


(defn get-counts [urls] 
(Let [counts (chan)] 
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(go (while true 
(Let [url (<! urls)] 
(when-let [response (<! (http-get url))] 
(Let [c (count (get-words (:body response)))] 
(>! counts [url cl])))))) 
counts ) ) 
这 段 代 码 接受 一 个 channel urLs， 对 于 从 中 读 出 的 每 一 个 链接 ,使 用 http- get 来 获取 文章 的 

内 容 , 统计 其 中 的 词 数 ， 并 将 结果 写 人 返回 的 channel 中 。 统 计 词 数 的 结果 是 一 个 二 元 数组 ， 其 中 
第 一 个 元 素 是 文章 的 链接 ， 第 二 个 元 素 是 文 草 的 词 效 。 


万 事 俱 备 ， 只 差 将 各 个 部 分 组 狐 起 来 。 
组 准 


下 面 这 个 main 国 数 实现 了 完整 的 RSS 词 数 统计 功能 : 


CSP/WordCount/src/wordcount/core.clj 


Line1 (defn -main [feeds-filel 
2 (with-open [rdr (io/reader feeds-file)] 
(Let [feed-urls (line-seq rdr) 
article-urls (doall (map new-Links feed-urls)) 
article-counts (doall (map get-counts article-urls)) 
counts (async/merge article-counts)] 
(while true 
(printLn (<!! counts)))))) 


这 个 函数 接受 一 个 文件 名 作为 参数 ， 该 文件 包含 了 多 个 feed 的 URL， 每 行 一 个 URL。 首 先 ， 
这 段 代码 创建 了 一 个 文件 读 取 器 (第 2 行 ) (Clojure 中 的 with-open 函 数 确 保 当 代码 运行 到 其 作用 
范围 之 外 时 ， 文 件 会 被 关闭 ); 然后 ， 通 过 Line-seq (第 3 行 ) 从 文件 读 取 器 中 获取 URL 的 列表 ， 
并 对 URL 列 表 施 加 映射 操作 (映射 函数 是 new-Links ) 以 将 其 转换 为 channel 的 序列 (第 4 行 )， 当 6 
检测 到 某 个 feed 中 有 新 的 链接 时 ,新 的 链接 就 会 被 写 人 对 应 的 channel 中 ; 接 下 来 ， 对 channel 的 序 
列 施加 映射 操作 ( 映射 函数 是 get -counts ) 以 得 到 男 一 个 channel 的 序列 (第 5 行 )， 当 检测 到 某 
个 feed 中 有 新 的 链接 时 ， 链 接 指 回 的 文章 的 词 数 就 会 被 写 人 这 个 序列 中 对 应 的 channel 中 。 


最 后 ， 使 用 async/merge 函 数 〈 第 6 行 ) 来 将 这 个 channel 序 列 合 并 为 一 个 单独 的 channel， 其 
包含 了 原始 channel 序 列 中 的 所 有 内 容 。 代 码 会 一 下 循 环 下 去 〈 第 7 行 )， 输 出 所 有 写 人 合并 后 的 
channel 中 的 词 数 统计 结果 。 来 测试 一 下 : 

$ lein run feeds.txt 

[http://www.bbc.co.uk/sport/0/football/25611509 10671] 


[http://www.wired.co.uk/news/archive/2014-01/04/time-travel 11188] 
[http://news.sky.com/story/1190148 3488] 


3 
4 
5 
6 
7 
8 


在 这 段 程序 运行 时 监测 一 下 CPU 的 使 用 情况 , 会 发 现 这 段 代码 不 仅 催 单 易 该 , 而 且 非 常 高 效 ， 
它 可 以 同时 检测 数 百 个 feed， 但 只 占用 少量 CPU 资源 。 
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I 小 乔 爱 问 : 
六 ”为 什么 使 用 无 缓存 的 channel? 


回顾 一 下 今天 创建 的 所 有 channel 一 一 它们 全 都 是 无 丝 存 的 (同步 的 )。 学习 CSP 模型 的 
新 手 往往 会 认为 有 缓存 的 channel 会 比 无 缓存 的 channel 应 用 更 为 广泛 ,但 实际 情况 恰恰 相 
反 。 有 一 些 场景 适合 使 用 有 缓存 的 channel， 但 在 使 用 前 务必 深思 熟 虑 ， 一定 要 确认 使 用 缓 
存 的 必要 性 。 


a a 一 一 | Z 士 
一 一 一 /入 一 器 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 在 客户 端 如 何 通 过 ClojureScript 使 用 core ,async 库 。 

第 二 天 我 们 学 到 了 什么 

使 用 channel 和 go 块 ， 可 以 写 出 高 效 的 异步 代码 , 同时 代码 的 表达 也 非常 卓然 ， 而 不 像 使 用 回 

调 孔 数 时 那样 星 深 。 

口 如 果 要 将 现存 的 基于 回调 机 制 的 API 迁 移 到 CSP 机 制 中 ， 只 需 提 供 一 个 很 小 的 回调 也 数 ， 
| 问 channel 写 入 数据 即 可 。 

口 通过 alLt! 宏 可 以 处 理 多 个 channel 的 读 和 写 。 

口 timeout 国 数 返 回 一 个 channel， 并 在 一 定时 间 后 关闭 这 个 channel 
这 个 操作 变 成 了 第 一 类 对 和 象 (被 具象 化 了 )。 

口 暂停 函数 必须 在 go 块 中 被 直接 调用 。Clojure 的 宏 可 以 将 代码 内 联 ， 可 以 将 go 块 拆 分 成 较 
小 的 部 分 ， 而 不 受 这 个 约束 的 影响 。 

第 二 天 自习 

查找 


口 与 alt! 类 似 ，core.async 还 提供 了 alts!。 两 者 有 什么 区 别 ? 各自 适 用 于 什么 场景 ? 

口 除了 人 async/merge，core.async 还 提供 了 很 多 方法 来 合并 多 个 channel， 例 如 pub、sub、 
muLt 、tap 、mix 和 admix。 它 们 各 适用 于 什么 场景 ? 

实践 

口 重新 整理 一 下 RSS 阅 读 需 运行 的 流程 。 有 趣 的 是 由 于 全 程 使 用 了 无 缓存 的 channel, 整个 流 
程 看 上 去 非常 像 数 据 流 式 编程 的 结果 ， 其 中 上 游 的 go 块 的 运行 结果 由 下 游 的 go 块 使 用 。 
如 有 果 使 用 有 绥 存 的 channel 会 发 生 什 么 ” 比 起 使 用 无 缓存 的 channel， 是 否 有 什么 好 处 ? 会 
市 来 什么 问题 ? 


这 样 使 得 “超时 
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口 自己 实现 一 个 类 似 于 async/merge 的 函数 。 这 个 函数 还 需要 处 理 输入 channel 中 有 一 个 或 
多 个 被 关闭 的 情况 。( 提示 : 比 起 aLt!， 借助 atlts ! 来 实现 会 比较 容易 。) 
口 使 用 Clojure 的 宏 展 开工 具 将 alt! 宏 展开 : 


channels,core=> (macroexpand-1 '(alt! ch1 ([x] (println x)) ch2 ([y] (printLn y)))) 


对 于 展开 后 的 代码 ， 通 过 调整 缩 进 并 删除 cLojure. core 前 缀 ， 可 以 方便 阅读 。atLt! 是 如 何 
不 调用 匿名 函数 而 达到 调用 匿名 函数 的 效果 的 ? 


6.4 第 三 天 : 客户 端 CSP 

ClojureScript ( http://clojurescript.com ) 是 Clojure 的 一 个 子 集 ，ClojureScript 并 不 将 程序 编译 成 
Java 字 节 码 ， 而 编译 成 JavaScript。 也 就 是 说 可 以 用 Clojure 为 一 个 web 应 用 同时 编写 服务 套 端 和 客 
户 问 的 代码 。 

使 用 ClojureScript 的 主要 原因 之 一 是 它 文 持 core.async， 这 为 我 们 融 来 了 许多 好 处 ， 其 中 最 
重要 的 就 是 它 能 将 众多 JavaScript 程 序 员 从 “回调 困境 ”中 解救 出 来 。 


并 发 是 一 种 心境 

如 果 你 熟悉 客户 端 JavaScript 编 程 ， 肯 定 会 认为 本 节 写 错 了 一 一 浏览 器 使 用 的 JavaScript 引 警 
是 单线 程 的 ， 怎 么 会 与 core.async 扯 上 关系 ? 并 发 编程 不 是 在 多 线程 的 场景 下 才 有 用 吗 ? 

在 没有 真正 多 线程 的 场景 中 ， 通 过 go 安 的 控制 反 转 ，ClojureScript 可 以 让 客户 端 编程 在 表面 
上 具有 多 线程 功能 。 这 是 协作 式 多 任务 ( cooperative multitasking ) 的 一 种 形式 一 一 一 个 任务 不 会 
强制 打 汤 男 一 个 任务 。 之 后 我 们 会 看 到 ， 这 为 代码 结构 和 清晰 度 溃 来 了 质 的 飞跃 。 


1// 。 小 乔 爱 间 : 
过 “关于 Web Worker 


通过 Web Worker ， 现 代 浏 览 器 在 一 定形 式 上 支持 真正 多 线程 的 JavaScript。Web Worker 
后 台 人 任务， 而 不 能 访问 DOML。 


过 某 些 库 ， 比 如 Servantt，ClojureScript 也 可 以 使 用 Web Worker。 


他 4 


a. http://www.whatwg.org/specs/web-apps/current-work/multipage/workers.html 
b. https://github.com/MarcoPolo/servant 
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Hello, ClojureScript 


ClojureScript 导 Clojure 类 似 ， 但 也 存在 一 些 差别 本 书 会 在 相关 部 分 介绍 它们 。 


ClojureScript 习 用 的 编 详 过程 通 稼 是 两 阶段 的 。 第 一 阶段 ， 客 户 端 的 ClojureScript 代 人 码 将 被 编 
译 成 一 个 JavaScript 文 件 ; 第 二 阶段 ， 服 务 需 端的 ClojureScript 代 码 将 被 编译 并 创建 一 个 服务 需 ， 
这 个 服务 硕 提 供 的 页 面 会 将 该 JavaScript 文 件 的 代码 包 厂 在 <script> 标 签 对 中 。 本 节 中 的 例子 都 
使 用 Leiningen 的 插件 lein-cjjsbuild 将 编译 过 程 自动 化 。 服 务 器 端的 代码 放 在 目录 src-cLj 中 ， 客 
户 六 的 代 人 码 放 在 目录 src-cljs 中 。 


先 来 看 一 个 人 简单 的 项 目 ， 将 一 个 脚本 舱 入 一 个 页 面 中 ， 页 面 如 下 : 


CSP/HelloClojureScript/resources/public/index.html 


Line 1 <html> 
2 <head> 
3 <title>Hello ClojureScript</title> 
4 <script src="/js/main.js" type="text/javascript"></script> 
5 </head> 
6 <body> 
7 <div id="content"> 
8 </div> 
9 </body> 
0 


10 </htmL> 


第 4 行 中 引用 了 ClojureScript 生 成 的 JavaScript 脚 本 ， 它 将 操作 第 7 行 空 白 的 <div>。 下 面 是 对 
应 的 ClojureScript 代 三 : 


CSP/HelloClojureScript/src-cljs/hello_clojurescript/core.cljs 


Line1 (ns hello-clojurescript.core 
(:require-macros [cljs.core.async.macros :refer [go]]) 
(:require [goog.dom :as dom] 

[cljs.core.async :refer [<! timeout]])) 


(defn output [elem messagel 
(dom/append elem message (dom/createDom "br"))) 
(defn start [] 
(Let [content (dom/getElement "content")] 
10 (go 
(while true 
(<! (timeout 1000)) 
(output content "Hello from task 1"))) 
(go 
15 (while true 
(<! (timeout 1500)) 
(output content "Hello from task 2"))))) 


(set! (.-onload js/window) start) 


GD https://github.com/emezeske/lein-cljsbuild 
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ClojureScript 与 Clojure 的 一 个 差别 是 其 使 用 的 安 需 要 使 用 :require-macros 进 行 声 明 ( 第 2 
行 )。output 函 数 (第 6 行 ) 使 用 了 Google Closure 库 ”( 此 处 的 Closure 第 四 个 字母 是 s， 而 不 是 j ) 
加 一 个 DOM 元 素 添 加 消息 。 

这 段 代 码 在 第 13 行 和 第 17 行 使 用 了 output 洱 数 ， 其 分 别 运行 于 两 个 独立 的 go 块 中 。 第 一 个 
g0 块 每 1 秒 输出 一 次 ， 第 二 个 go 块 每 1.5 秒 输出 一 次 。 

第 19 行 的 代码 将 start 图 数 与 JavaScript 的 window 对 象 的 onLoad 属 性 进行 绑 定 。 这 行 代码 供 
助 了 ClojureScript 的 dot special form 特 性 ， 与 JavaScript 代 码 进行 交互。 下面 这 段 代 码 : 


(set! (.-onload js/window) start ) 


会 被 转换 成 下 面 的 JavaScript 代 三 : 

window.onload = hello clojurescript.core.start, 

由 于 服务 硕 端的 ClojureScript 代 码 比 较 简 单 ， 这 里 不 再 进行 介绍 〈 如 需 了 解 更 多 细节 ， 请 参 
见 本 书 配 套 代 码 )。 

现在 可 以 用 Lein cljsbuild once 编 译 程 序 ， 并 用 Lein run 运 行 服 务 硕 。 通 过 浏览 融 访 问 
http://LocatLhost:3000， 就 可 以 看 到 以 下 输出 : 


Hello from task 1 
Hello from task 2 
Hello from task 1 
Hello from task 1 
Hello from task 2 


现在 是 否 还 党 得 并 发 程序 一 定 要 依托 于 真正 的 多 线程 ? 
并 发 任务 如 果 能 一 直 独 立 运 行 那 是 极 好 的 。 但 大 多 数 界 面 需要 和 用 户 进行 互动 , 这 就 要 求 代 
码 能 处 理事 件 ， 下 一 节 将 学 习 如 何 处 理事 件 。 


处 理事 件 

本 市 将 通过 一 个 简单 的 可 以 啊 应 鼠标 点 击 的 动画 ， 来 演示 ClojureScript 是 如 何 处 理事 件 的 。 
我 们 将 创建 一 个 页 面 ,在 页 面 上 显示 一 些 圆 ， 这些 圆 会 逐渐 衰减 成 一 个 点 ， 最 终 消 失 在 用 户 鼠 标 
扩 击 的 位 置 ， 如 图 6-4 所 示 。 


GD https://developers.google.com/closure/library/ 
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图 6-4 “衰减 的 圆 
页 面 的 代码 非常 人 简单， 只 使 用 一 个 <div> 充 满 整个 窗口 . 


CSP/Animation/resources/public/index.html 


<htmL> 
<head> 
<title>Animation</title> 
<script src="/js/main.js" type="text/javascript"></script> 
</head> 
<body> 
<div id="canvas" width="100%" height="100%"></div> 
</body> 
</html> 


我 们 要 借助 Google Closure 库 的 图 形 功能 在 页 面 上 绘图 ，Google Closure 库 对 不 同 浏 览 估 上 绘 
图 操作 的 细节 进行 了 抽象 。create-graphics 也 数 接受 一 个 DOM 元 素 ， 返 回 一 个 图 像 接 口 ， 通 
过 这 个 图 像 接口 可 以 在 DOM 元 素 上 绘 


CSP/Animation/src-cljs/animation/core.cljs 
(defn create-graphics [elem] 
(doto (graphics/createGraphics "100%" "100%") 
(.render elem))) 


shrinking-circle 气 数 接受 一 个 图 形 接 口 和 一 个 位 置 ， 并 创建 一 个 go 块 ， 其 绘制 以 输入 的 
位 置 为 中 心 的 圆 ， 并 实现 动画 : 


CSP/Animation/src-cljs/animation/core.cljs 
Line1 (def stroke (graphics/Stroke. 1 "#ff0000")) 


(defn shrinking-circle [graphics x yl] 
(go 
5 (Let [circle (.drawCircle graphics x y 100 stroke nil)] 
(Loop [r 100] 
(<! (timeout 25)) 
(.setRadius circle r r) 
(when (> r 0) 
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10 (recur (dec r)))) 
(.dispose circle)))) 


这 段 代码 首先 使 用 Google Closure 库 的 drawCirctLe 函 数 (第 5 行 ) 来 绘制 圆 ; 然后 进入 循环 ， 
每 25 ms 调用 一 次 setRadius 抑 数 (每 秒 40 次 ) (第 7 行 ); 最 后 当 半 人 径 衰减 到 0 时 ， 调 用 dispose 
咕 数 来 删除 加 ( 第 11 行 )。 

我 们 还 需要 判断 用 户 何 时 在 页 面 上 点 击 了 鼠标 。Google Closure 库 提供 了 listen 隆 数 ， 用 于 
注册 事件 监听 者 。 


类 似 于 昨天 学 习 的 http/get 咀 数 ，listen 接 受 一 个 回调 测 数 ， 在 指定 事件 发 生 时 会 调用 该 
回调 函数 。 与 昨天 类 似 ， 我 们 传人 一 个 将 事件 写 人 人 channel 的 回调 函数 ， 来 将 回调 函数 转换 成 
core.async 的 形式 : 


CSP/Animation/src-cljs/animation/core.cljs 
(defn get-events [elem event-typel 
(Let [ch (chan)] 
(events/listen elem event-type 
#(put! ch %)) 
ch)) 


还 剩 最 后 一 点 工作 : 


CSP/Animation/src-cljs/animation/core.cljs 
(defn start [] 

(Let [canvas (dom/getElement "canvas") 
graphics (create-graphics canvas) 
clicks (get-events canvas "click")] 

(go (while true 
(let [click (<! clicks) 
x (.-offsetX click) 
y (.-offsetY click)] 
(shrinking-circle graphics x y)))))) 
(set! (.-onload js/window) start) 


这 段 代 人 码 首 先 查找 一 个 <div> 作 为 画布 ， 构 造 一 个 图 形 接口 在 画布 上 绘画 ， 并 获得 鼠标 点 击 
事件 构成 的 channel; 然后 进入 循环 ， 等 待 发生 一 次 鼠标 点 击 ， 获 取 这 次 点 击 的 坐标 offsetX 和 
offsetY， 并 在 这 个 坐标 位 置 创 建 一 个 圆 的 动画 。 

这 个 例子 看 上 去 很 简单 《实际 上 也 是 这 样 )， 但 它 将 JavaScript 的 基于 回调 的 代码 转换 成 了 
core.async 的 基于 channel 的 代码 ， 我 们 已 经 获得 了 巨大 的 成 功 一 一 找到 了 “回调 困境 ”的 解决 
方案 。 


驯服 回 需 
“回调 困境 ” 指 的 是 由 于 JavaScript 严 重 依 赖 回调 方法 而 导致 代码 混乱 的 状况 一 一 回调 函数 调 
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用 的 回调 函数 再 幸 用 为 一 个 回调 函数 ， 还 需要 暂 存 不 同 的 状态 来 进行 回调 之 间 的 通信 。 
下 面 将 学 习 如 何 用 本 章 介 绍 的 卉 步 编程 模型 来 解决 回调 困境 。 


实现 一 个 向 导 器 - 


~ HA 


向 姓 器 是 名 用 的 界面 模式 ， 指 导 用 户 一 步 一 步 地 进行 操作 。 今 天 最 后 的 任务 就 是 运用 所 学 来 
创建 一 个 不 使 用 回调 函数 的 癌 导 天 : 


Wizard 


< 十 © localhost:3000 C 》》 


Step 2 
Date of Birth: 03/,10/1968 


Homepage: www.paulbutcher.com 


Next 


图 6-$ 癌 导 需 
回 导 需 由 包含 多 个 fieldset 的 表单 构成 : 


CSP/Wizard/resources/public/index.html 


<form id="wizard" action="/wizard" method="post"> 
<fieldset class="step" id="stepI"> 
<legend>Step 1</legend> 
<LabeL>First Name:</LabeL><input type="text" name="firstname" /> 
<LabeL>Last Name:</LabeL><input type="text" name="lastname" /> 
</fieLdset> 


<fieldset class="step" id="step2"> 
<Legend>9Step 2</Legend> 
<LabeL>Date of Birth:</LabeL><input type="date" name="dob" /> 
<LabeL>Homepage :</LabeL><input type="url" name="url" /> 
</fieLdset> 


<fieldset class="step" id="step3"> 
<Legend>9Step 3</Legend> 
<LabeL>Password:</LabeL><input type="password" name="pass1" /> 
<LabeL>Confirm Password:</LabeL><input type="password" name="pass2" /> 
</fieLdset> 
<input type="button" id="next" value="Next" /> 
</form> 


GD 有 趣 的 是 ， 原 文 标题 是 “We're Offto See the Wizard”， 这 是 绿野仙踪 的 一 首 插曲 。“wizard” 既 有 “巫师” 的 意思 ， 
也 有 “向 性 器 ”的 意思 。 一 一 译 者 注 


Line 1] 


by 
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每 个 <fieLdset> 代 表 回 导 需 的 一 个 步 又 。 先 将 所 有 的 fieldset 隐 羧 起 来 : 


CSP/Wizard/resources/public/styles.css 


label { display:block; width:8em; clear:left; float:left; 
text-align:right; margin-right: 3pt; } 

input { display:block; } 

.Step { display:none; } 


之 后 的 程序 会 使 用 下 面 这 些 辅助 图 数 ， 显 示 或 隐藏 相关 的 fieldset: 


CSP/Wizard/src-cljs/wizard/core.cljs 


(defn show [elem] 
(set! (.. elem -style -display) "block")) 


(defn hide [elem] 
(set! (.. elem -style -display) "none")) 


(defn set-value [elem valuel] 
(set! (.-value elem) value)) 


这 上段 代码 使 用 了 男 一 种 形式 的 dot special form， 用 于 访问 对 象 深 层 的 属性 ， 比 如 : 


(set! (.. elem -style -display) "block") 


会 被 转换 成 下 面 的 JavaScript 代 三 : 


elem.style.display = "block"; 


下 面 的 代码 实现 了 回 导 带 的 控制 流程 : 


CSP/Wizard/src-cljs/wizard/core.cljs 


(defn start [] 
(go 
(Let [wizard (dom/getElement "wizard") 
stepl (dom/getElement "step1") 
step2 (dom/getElement "step2") 
step3 (dom/getElement "step3") 
next-button (dom/getElement "next") 
next-clicks (get-events next-button "click")] 
(show step1l) 
(<! next-clicks) 
(hide step]l) 
(show step2) 
(<! next-clicks) 
(set-value next-button "Finish") 
(hide step2) 
(show step3) 
(<! next-clicks) 
(.submit wizard)))) 


(set! (.-onload js/window) start) 
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这 段 代 码 首先 获取 了 表单 中 每 个 需要 操作 的 元 素 的 引用 ， 并 用 之 前 写 的 get -events 孙 数 获 
取 Next 按 钮 的 点 击 事 件 的 channel (第 8 行 ); 然后 显示 与 回 导 第 一 步 相 关 的 表单 元 素 ， 并 等 待 用户 
点 击 Next 按 钮 (第 10 行 ); 当 用 户 点 击 时 ， 隐 藏 与 癌 导 第 一 步 相 关 的 表单 元 素 ， 显 示 与 回 导 第 二 
步 相 关 的 表单 元 素 ， 并 等 竺 用 户 再 次 点 击 Next 按 钮 ; 以 此 类 推 ， 直 到 所 有 步骤 都 完成 ， 最 后 提交 
表单 (第 18 行 )。 

这 段 代码 最 大 的 特点 是 它 没 什么 特别 之 处 一 一 癌 导 带 的 流程 是 串 行 的 , 这 段 代 码 看 上 去 也 是 
串 行 的 。 当 然 这 是 由 于 go 宏 的 作用 ， 实 际 上 这 有 段 代码 并 不 是 串 行 的 一 一 我 们 创建 了 一 个 状态 机 ， 
它 或 者 处 于 运行 状态 , 或 者 在 等 待 状态 转换 信号 时 处 于 暂停 状态 。 绝 大 多 数 时 候 我 们 不 需要 关心 
细节 ， 只 需要 将 其 视 作 串 行 代码 即 可 。 


第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 core.async 版 本 的 CSP 模 型 的 讨论 。 

第 三 天 我 们 学 到 了 什么 

ClojureScript 是 Clojure 的 一 个 子 集 ， 其 代码 可 以 编译 成 JavaScript， 这 样 客户 问 编 程 就 可 以 借 
助 core.async 的 力量 。 这 不 仅 可 以 在 单线 程 JavaScript 环 境 上 运行 协作 式 多 任务 ， 还 能 解决 “ 回 
调 困境 ”。 

第 三 天 自习 

查找 


口 ClojureScript 中 , core.async 文 持 暂 停 图 数 , 比如 <! 和 >1! ,但 并 不 文 持 阻 堵 果 数 <14 和 >11。 
这 是 为 什么 ? 

口 阅读 take! 的 文档 , 通过 这 个 函数 , 如 何 将 基于 channel 的 API 转 换 为 基于 回调 困 数 的 API? 
这 适用 于 什么 场景 ? (提示 : 这 个 问题 与 上 一 个 问题 相关 。) 

实践 


口 用 core.async 编 写 一 个 徐 单 的 浏览 善 游戏， 比如 贪 吃 蛇 、 兵 乓 球 或 打 砖 块 。 
口 用 JavaScript 重 写 问 导 妖 的 例子 。 其 与 ClojureScript 版 本 相 比 有 什么 区 别 ? 


6.5 复习 


表面 上 看 ，actor 模 型 和 CSP 模 型 非常 相似 一 一 它们 均 由 独立 的 并 发 的 执行 单元 构成 ， 这 些 
执行 单元 之 间 都 使 用 消息 来 进行 通信 。 但 如 本 章 所 述 ， 由 于 侧重 点 不 同 ， 这 两 种 模型 可 谓 是 大 
相 径 许 。 


优点 

与 actor 模 型 相 比 ，CSP 模 型 的 最 大 的 优点 是 灵活 性 。 使 用 actor 模 型 时 ， 负 责 通信 的 媒介 与 执 
行 单 元 是 紧 耦 合 的 每 个 actor 都 有 一 个 信箱 。 而 使 用 CSP 模 型 时 ，channel 是 第 一 类 对 象 ， 可 以 
被 独立 地 创建 、 写 人 数据 、 读 出 数据 ， 也 可 以 在 不 同 的 执行 单元 中 传递 。 

Clojure 语 言 的 创始 人 Rich Hickey 解 释 了 他 在 CSP 模 型 与 actor 模 型 中 选择 前 者 的 原因 ”: 

我 个 人 对 actor 模 型 并 不 感 兴 趣 。 在 actor 模 型 中 , 生产 者 和 消费 者 还 是 耦合 在 一 起 的 。 
诚然 ， 我们 可 以 用 actor 模 型 实现 消息 通信 用 的 队列 (人们 确实 也 经 常 这 样 做 )， 但 actor 
模型 本 身 就 已 经 使 用 了 队列 , 用 它 来 实现 基础 的 消息 通信 用 的 队列 未 免 显 得 画蛇添足 。®% 

从 更 务实 的 角度 来 说 ， 现 在 的 CSP 模 型 的 实现 ， 比 如 core.async 库 ,使 用 了 控制 反 转 技术 ， 
不 仅 提 高 了 异步 程序 的 效率 , 还 为 原本 使 用 回调 函数 来 解决 的 应 用 领域 提供 了 一 种 显 闭 改进 的 编 
程 模型 ,本章 中 我 们 学 习 了 其 中 的 两 种 模型 . 异步 IO 编程 和 异步 UI 编程 , 然而 还 有 很 多 其 他 模型 。 


缺点 


如 于 将 本 章 与 上 一 草 相 比 ， 有 两 个 主题 没有 被 提 及 一 一 分 布 式 和 容错 性 。 基 于 CSP 模 型 的 编 
程 语 言 虽 然 也 可 以 文 持 分 布 式 和 容错 性 , 但 与 基于 actor 模 型 的 编程 语言 不 同 , 这 两 个 主题 并 没有 
得 到 足够 的 重视 和 文 持 一 一 也 没有 基于 CSP 模 型 实现 的 OTP。 

与 使 用 线程 与 锁 模 型 和 actor 模 型 一 样 ，CSP 模 型 也 容易 受到 死 锁 影 响 ， 且 没有 提供 直接 的 并 
行文 持 。 使 用 CSP 模 型 时 ， 并 行 需要 建立 在 并 发 的 基础 上 ， 这 也 就 引入 了 不 确定 性 。 


其 他 语言 

与 actor 模 型 类 似 ，CSP 模 型 由 Tony Hoare 于 1970 年 代 提出 。 近 年 来 这 两 个 模型 一 直 在 互相 借 
鉴 ， 共 同 进 化 。 

20 世 纪 80 年 代 ， 编 程 语 言 occam2 使 用 CSP 模 型 为 基石 。 然 而 在 当下 ，Go 语 言 是 使 用 CSP 模 型 
的 最 流行 的 语言 。 

core.async 和 Go 语言 都 使 用 控制 反 转 来 实现 异步 任务 ， 这 一 技术 也 被 其 他 语言 广泛 使 用 ， 
包括 F#*、C#”、Nemerle” 和 Scala”。 


GD http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 

@) Rich Hickey 在 文 草 中 主要 阐述 了 设计 core.async 的 目的 ， 其 中 一 个 目的 是 提供 消息 通信 用 的 队列 。 这 上 段 引 文正 是 
从 提供 消息 通信 用 的 队列 这 一 角度 来 曾 述 选择 CSP 模 型 的 原因 。 一 一 译 者 注 

(3) http://en.wikipedia.org/wiki/Occam programming language 


(4) http://blogs.msdn.com/b/dsyme/archive/2007/10/11/introducing-f-asynchronous-workflows.aspx 
(5) http://msdn.microsoft.com/en-us/library/hh191443.aspx 

(©) https://github.com/rsdn/nemerle/wiki/Computation-Expression-macro#async 

CO http://docs.scala-lang.org/sips/pending/async.html 
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士 、 
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CSP 模 型 和 actor 模 型 开发 社区 的 侧重 点 不 同 , 并 各 目 发 展 , 从 而 形成 了 两 者 之 间 的 诸多 差异 。 
actor 模 型 的 开发 社区 侧重 于 容错 性 和 分 布 式 ， 而 CSP 模 型 的 开发 社区 侧重 于 效率 和 代码 表达 的 沈 
畅 性 。 如 何在 这 两 种 模型 之 间 进 行 选择 ,很 大 程度 上 取决 于 你 关注 于 哪个 方面 。 


CSP 模 型 是 本 书 介 绍 的 最 后 一 种 通用 的 编程 模型 。 下 一 革 我 们 将 学 习 第 一 个 专用 的 编程 模型 。 


数据 并 行 


数据 并 行 就 像 是 八 车 过 的 高 速 公 路 。 虽 然 每 辆 车 的 速度 相对 平缓 , 但 由 于 多 辆 车 可 以 同时 行 
进 ， 所 以 通过 某 一 点 的 车 流量 还 是 很 大 的 。 

到 目前 为 止 ,我 们 讨论 的 每 一 项 技术 都 可 以 用 于 解决 多 种 编程 问题 。 相 比 之 下 ,数据 并 行 只 
适用 于 很 罕 的 范围 。 顾 名 思 义 ,数据 并 行 是 并 行 编程 技术 ， 而 不 是 并 发 编程 技术 (并 发 和 并 行 是 
相关 的 ， 但 又 有 所 区 别 ， 参 见 1.1 闻 )。 


7.1 隐藏 在 笔记 本 电脑 中 的 超级 计算 机 


本 章 我 们 将 学 习 如 何 利 用 隐藏 在 笔记 本 电脑 中 的 超级 计算 机 一 一 图 形 处 理 单元 (GPU )。 现 
代 GPU 是 一 个 强力 的 数据 并 行 处 理 硕 ,其 用 于 数学 计算 时 性 能 超过 了 CPU, 这 种 做 法 称 为 基于 图 
形 处 理 器 的 通用 计算 ( General-Purpose computing on the GPU ) ， 或 GPGPU 编 程 。 

过 去 数 年 间 ， 有 许多 技术 致力 于 将 不 同 GPU 的 实现 细节 抽象 出 来 。 本 书 将 使 用 开放 计算 语言 
( OpenCL ) "来 编写 GPGPU 代 码 。 

第 一 天 ， 我 们 将 学 习 编 写 OpenCL 内 核 的 基础 知识 ， 以 及 用 于 编译 和 运行 内 核 的 主机 程序 。 
第 二 天 , 学 习 如 何 将 内 核 映射 到 硬件 上 。 第 三 天 , 学 习 OpenCL 如 何 与 开放 图 形 库 (OpenGL )“ 写 
就 的 图 形 代 人 码 进行 交互 。 


7.2 第 一 天 : GPGPU 编程 


今天 我 们 将 学 习 如 何 编写 一 个 简单 的 将 两 个 数组 并 行 相 乘 的 GPGPU 程 序 ， 并 测试 这 个 程序 
的 性 能 ， 来 看 看 GPU 与 CPU 相 比 性 能 会 有 多 大 提升 。 不 过 我 们 要 先 花 点 时 间 来 探究 一 下 为 什么 
GPU 在 进行 数学 运算 时 比较 强力 。 


GD http:/www.khronos.org/opencl/ 
@) http://www.opengl.org 
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图 形 处 理 与 数据 并 行 

计算 机 图 形 学 主要 研究 如 何 处 理 数 据 、 如 何 处 理 大 量 数据 以 及 如 何 快速 处 理 大 量 数据 。3D 游 
戏 的 一 个 场景 是 由 无 数 个 小 三 角形 构成 的 ， -个 三 角形 都 需要 根据 与 视点 相关 的 透视 关系 计算 
出 其 在 屏幕 上 的 位 置 ， 并 进行 裁剪 、 处 理光 照 、 修 饰 纹理 等 ,这 些 操作 每 秒 钟 都 要 进行 2$ 次 以 上 。 

虽然 需要 处 理 的 数据 量 是 巨大 的 , 但 其 有 一 个 非常 好 的 特性 : 施加 在 数据 上 的 操作 都 是 相对 
简单 的 向 量 操作 或 算 阵 操作 。 因此 这 种 场景 非常 适合 于 数据 并 行 一 一 多 个 计算 资源 会 在 不 同 的 数 
据 上 并 行 地 施加 同样 的 操作 。 

现代 GPU 是 异常 复杂 但 十 分 强力 的 并 行 处 理 器 ， 其 1 秒 钟 可 以 处 理 几 十 亿 个 三 角形 。 虽 然 设 
计 GPU 的 主要 目的 是 为 了 满足 图 形 计算 的 需要 ， 但 是 GPU 也 可 用 于 更 广 的 领域 。 

数据 并 行 可 以 通过 多 种 方法 来 实现 。 我 们 要 学 习 其 中 的 两 种 : 流水 线 和 多 ALU。 

流水 线 

虽然 看 上 去 将 两 数 相 乘 是 一 个 原子 操作 , 但 如 果 从 芯片 上 的 门 电路 的 角度 来 看 ,这 个 操作 实 
际 上 是 分 几 步 完成 的 。 这 些 步 又 通常 被 排列 成 流水 线 型 ， 如 图 7-1 所 示 。 


操作 数 1 


SFO —* 


操作 数 ?2 
图 7-1 ”两 个 数 乘法 的 操作 流水 线 
图 7-1 是 一 个 有 五 个 步 又 的 流水 线 ， 如 采 每 一 步 又 需要 1 个 时 钟 周期 来 完成 ， 那 将 一 组 数 〈 两 
个 数 ) 相 乘 就 需要 5 个 时 钟 周期 。 但 如 果 有 多 组 数 要 相 乘 ， 就 可 以 通过 让 流水 线 饱 和 来 获得 更 好 
的 性 能 〈 假 设 内 存 子 系统 足够 快 ， 可 以 及 时 提供 足够 多 的 数 )， 如 图 7-2 所 示 。 


= = ealalalale em 


x* 大 
| | T | T | | ls PE = XL, 


图 7-2 ”多 组 数 乘法 的 饱和 的 操作 流水 线 


如 果 需 要 将 1000 组 数 相 乘 ， 每 组 数 再 要 5 个 时 钟 周 期 ， 看 上 去 总 共 需 要 5000 个 时 钟 周 期 ， 而 
如 图 7-2 所 示 ， 实 际 上 只 需要 略 多 于 1000 个 时 钟 周 期 即 可 完成 。 
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多 ALU 
CPU 中 负责 进行 乘法 之 类 运算 的 组 件 称 为 算术 远 辑 单元 (ALU ) ， 如 图 7-3 所 示 。 


操作 数 1 ”操作 数 2 


结 
图 7-3 ALU 


只 要 搭配 足够 宽 的 内 存 总 线 , 多 个 ALU 束 可 以 同时 获取 多 个 操作 数 , 这 样 施加 在 大 量 数据 上 
的 运算 就 可 以 并 行 了 ， 如 图 7-4 所 示 。 


图 7-4 ”利用 多 个 ALU 对 大 量 数 据 进 行 并 行 操 作 
GPU 的 内 存 总 线 通 肖 有 256 位 或 更 党 ， 也 就 是 说 一 次 可 以 获取 8 个 或 更 多 个 32 位 的 浮 点 数 。 
竟 乱 的 局 面 
为 了 获得 更 好 的 性 能 , 现实 中 的 GPU 会 综合 使 用 流水 线 、 多 ALU 以 及 许多 本 书 尚 未 提 太 的 技 


术 。 这 就 增加 了 进一步 理解 GPU 的 难度 。 更 址 憾 的 是 , 不 同 的 ( 即使 是 同一 厂商 生产 的 ) GPU 之 
间 的 共性 是 很 少 的 。 如 采 我 们 必须 针对 东 个 架构 开发 代码 ，GPGPU 编 程 不 是 最 佳 选择 。 
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OpenCL 定 义 了 一 种 类 C 语 言 , 可 以 针对 多 种 架构 抽象 地 进行 编程 ,。 不同 的 GPU 厂 商会 提供 各 
自 的 编译 器 和 驱动 程序 ， 使 代码 可 以 被 编译 并 在 相应 的 硬件 上 运行 。 


第 一 个 OpenCL 程序 

如 果 要 利用 OpenCL 对 数组 相 乘 进行 并 行 化 ， 就 需要 先 将 工作 划分 成 多 个 可 以 并 行 执行 的 工 
作 项 ( work-item )。 

工作 项 


在 编写 并 行 代码 时 , 需要 留意 每 个 并 行 任务 的 颗粒 度 。 通 肖 ， 如 来 每 个 任务 只 进行 非常 少 的 
工作 ， 代 碍 运行 的 效率 会 很 低 ， 其 原因 是 线程 创建 和 线程 通信 的 代价 会 变 得 很 高 。 


相 比 之 下 ，OpenCL 的 工作 项 通常 会 很 小 。 如 果 要 将 两 个 有 1024 个 元 素 的 数组 相 乘 ， 就 可 以 
创建 1024 个 工作 项 。 如 图 7-5 所 示 。 


输入 A 输入 B 输出 
== 工作 项 0 一 入 
一 一 工作 Wil 一 
= 

| 0 

和 0 


和 
| | | | 一 工作 项 1023 ”一 | 
图 7-$ ”数组 相 乘 的 工作 项 


我 们 的 任务 就 是 将 问题 拆 分 成 尽 可 能 小 的 工作 项 。OpenCL 的 编 详 带 和 运行 时 会 根据 便 件 条 
件 对 工作 项 进行 最 优 调度 ， 你 证 便 件 被 尽 可 能 高 效 地 利用 。 


OpenCL 调 优 

如 你 所 料 ， 现 实 世 界 往往 不 是 这 么 简单 。 对 OpenCL 程 序 进行 调 优 ， 通 常 需要 仔细 考量 
可 用 的 资源 ， 并 给 编译 器 和 运行 时 一 些 提 示 ， 帮助 它们 更 好 地 调度 工作 项 。 有 时 为 了 性 能 其 
至 需要 限制 并 行 度 。 

不 过 ， 过 早 地 进行 调 优 是 编程 之 大 辟 。 大 部 分 情况 下 ， 只 需要 让 并 行 最 大 化 、 让 工作 项 
最 小 化 ， 仅 在 必要 的 时 候 才 会 考虑 进行 优化 。 


和 内核 
OpenCEL 的 内 核 主要 用 于 说 明 每 个 工作 项 是 如 何 工 作 的 。 下 面 是 数组 相 乘 程序 的 内 核 : 
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DataParallelism/MultiplyArrays/multiply_arrays.cl 


_ kernel void multiply arrays( global const float* inputA, 
_global const float* inputB, 
_global float* output) { 


int i = get global id(0); 
output[i] = inputA[i] * inputB[i]; 
} 


这 个 内 核 接 受 两 个 输入 数组 指针 inputA 和 inputB， 和 一 个 输出 数组 指针 output。 它 调用 
get_gLobalL_id() 来 确定 当前 正在 处 理 哪 个 工作 项 ， 并 将 inputA 和 :inputB 的 对 应 元 素 相 乘 的 结 
果 写 人 output 的 对 应 元 素 。 

要 创建 一 个 完整 的 程序 ， 就 需要 将 这 个 内 核 舱 入 到 主机 程序 中 ， 步 又 如 下 : 

(1) 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 

(2) 编译 内 核 ; 

(3) 创建 输入 数据 的 缓存 区 和 输出 数据 的 缓存 区 ; 

(4) 向 命令 队列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 程序 ; 

(5) 获取 结 

OpenCL 官方 标准 定义 了 C 绑 定 (binding ) 和 C++ 绑 定 。 然而， 大 部 分 主流 语言 都 提供 了 非 官 
方 的 绑 定 ,所 以 我 们 可 以 用 目 己 喜欢 的 语言 来 编写 主机 程序 。 由 于 OpenCL 官方 标准 使 用 了 C 语 言 ， 
而 且 C 语 言 能 最 好 地 描述 底层 的 运行 原理 ， 因 此 我 们 一 开始 先 选择 C 语 言 ， 第 三 天 再 学 习 用 Java 
编写 主机 程序 。 

接 下 来 的 几 节 将 会 完成 一 个 完整 的 OpenCL 主 机 程序 。 为 了 在 代码 中 更 清楚 地 表达 出 底层 的 
数据 结构 ,我 们 将 写 一 些 奔 放 的 不 融 错 误 处 理 的 代码 一 一 不 过 别 担心 ,， 稍 后 会 对 这 些 代 码 进行 修 
正 。 你 还 会 发 现在 函数 参数 中 使 用 了 多 个 NULL 一 一 同样 别 担 心 , 在 理解 了 整体 结构 后 , 我 们 会 回 
头 仔 细 学 习 这 些 API。 

创建 上 下 文 


OpenCL 上 下 文 表示 了 OpenCL 内 核 运 行 的 环境 。 要 创建 上 下 文 ， 需 要 识别 所 使 用 的 平台 ， 以 
及 平台 上 将 运行 内 核 的 设备 〈 稍 后 会 详细 讨论 平台 和 设备 ): 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl platform id platform; 
clGetPlatformIDs(1, &platform, NULL); 


cl device id device; 
clGetDeviceIDs(platform, CL DEVICE TYPE GPU, 1, &device, NULL); 


cl context context = clCreateContext(NULL, 1, &device, NULL, NULL, NULL); 


这 上 段 代 人 码 定 义 了 一 个 简单 的 上 下 文 ， 其 仪 包含 一 个 GPU。 首 先 调 用 clGetPlatformIDs() 来 
识别 平台 ,然后 将 CL DEVICE TYPE GPU 传 给 clLGetDeviceIDs() 来 获取 GPU 的 ID， 最 后 将 此 ID 
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传 给 cLCreateContext () 来 创建 上 下 文 。 
创建 命令 队列 
已 经 创建 了 一 个 上 下 文 ， 现 在 可 以 用 它 创建 命令 队列 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl command queue queue = clCreateCommandQueue(context, device, 0, NULL); 


cLCreateCommandQueue () 接 受 一 个 上 下 文 和 一 个 设备 ID ， 并 返回 一 个 命令 队列 ， 命 邻 将 通 
过 这 个 队列 发 送 给 该 设备 。 


编 详 内 核 
接 下 来 要 将 内 核 编译 成 可 以 在 设备 上 运行 的 代码 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


char* source = read source("multiply arrays.c!l"); 
cl program program = clCreateProgramWithSource(context, 1, 
(const char**)&source, NULL, NULL); 
free(Source ) ; 
clBuildProgram(program, 0, NULL, NULL, NULL, NULL); 
cl kernel kernel = clCreatekernel(program, "multiply arrays", NULL); 


这 上 段 代码 首先 将 multiply_arrays.cl 中 的 内 核 源 码 读 到 一 个 字符 串 中 (在 本 书 配套 代码 中 
可 以 看 到 read source() 的 源码 )， 然 后 将 该 字符 串 传 给 clCreateProgramWithSource(), 之 
后 使 用 clBuildProgram() 进 行 构 建 ， 最 后 使 用 clCreateKernel() 创 建 一 个 内 核 。 


创建 缓存 区 
内 核 使 用 的 是 缓存 区 中 的 数据 ， 我 们 和 来 创建 缓存 区 


DataParallelism/MultiplyArrays/multiply_arrays.c 
#define NUM ELEMENTS 1024 


cl float a[NUM ELEMENTS], b[NUM ELEMENTS]; 

random fill(a, NUM ELEMENTS),; 

random fill(b, NUM ELEMENT9 ) ; 

cl mem inputA = clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY HOST PTR, 
sizeof(cl float) * NUM ELEMENTS, a, NULL); 

cl mem inputB = clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY HOST PTR, 
sizeof(cl float) * NUM ELEMENTS, b, NULL); 

cl mem output = clCreateBuffer(context, CL MEM WRITE ONLY, 
sizeof(cl float) * NUM ELEMENTS, NULL, NULL); 


这 段 代码 创建 了 两 个 数组 a 和 b， 并 调用 random fill() 向 两 个 数组 中 灌 入 随机 数 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


void random fill(cl float array[], size t size) { 
for (int i = 0; i < size; ++i) 
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array[i] = (cl float)rand() / RAND MAX; 
} 


从 内 核 的 角度 来 看 ， 两 个 输入 缓存 区 inputA 和 :inputB 都 是 只 读 的 (CL MEM READ ONLY )， 
并 从 对 应 的 数组 中 复制 数据 作为 初始 值 (CL MEM COPY HOST PTR )。 输 出 缓存 区 output 是 只 写 
的 (CL MEM WRITE ONLY )。 

执行 工作 项 

终于 可 以 执行 工作 项 来 进行 数组 相 乘 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


clSetkernelArg(kernel, 0, sizeof(cl mem), &inputA); 
clSetkernelArg(kernel, 1, sizeof(cl mem), &inputB); 
clSetkernelArg(kernel, 2, sizeof(c\l mem)，&Aoutput ) ; 


size t work units = NUM ELEMENTS,; 
clEnqueueNDRangeKernel (queue, kernel, 1, NULL, S&work units, NULL, 0, NULL, NULL); 


这 段 代码 首先 调用 clSetKernelArg() 来 设置 内 核 参 数 ， 然 后 调用 clEnqueueNDRange 
Kernel()， 将 NN 维 空间 ( NDRange ) 的 工作 项 传 给 命令 队列 。 本 例 中 N=1 (clEnqueueND 
RangeKernel () 的 第 三 个 参数 一 一 稍 后 会 看 到 N>1 的 例子 )， 工 作 项 的 个 数 是 1024。 


获取 结果 
当 内 核 运行 结束 ， 就 可 以 获取 绪 有 末了: 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl float resuLts[NUM ELEMENT9] ; 
clEnqueueReadBuffer(queue, output, CL TRUE, 0, sizeof(cl float) * NUM ELEMENTS9 ， 
results, 0, NULL, NULL); 


这 段 代 码 创建 了 result 数 组 , 并 调用 cCLEnqueueReadBuffer() 将 output 绥 存 区 的 内 容 复 制 
到 该 数组 中 。 


清理 
主机 程序 最 后 的 工作 是 清理 现场 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


clReleaseMemObject (inputA); 
clReleaseMemObject (inputB); 
clReleaseMemObject (output); 
clReleaseKkernel (kernel); 
clReleaseProgram(program); 
clReleaseCommandQueue (queue); 
clReleaseContext (context ) ; 
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性 能 分 析 
我 们 已 经 得 到 了 一 个 内 核 ,现在 该 来 分 析 一 下 其 性 能 了 。 这 次 需要 使 用 OpenCL 性 能 分 析 API: 


DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 


Line1 cl event timing event; 

- Size t work units = NUM ELEMENTS,; 

- ClEnqueueNDRangeKernel (queue, kernel, 1, NULL, S&work units, 
NULL, 0, NULL, S&timing event); 


- Cl float results[NUM ELEMENTS]; 
- ClEnqueueReadBuffer(queue, output, CL TRUE, 0, sizeof(c\l float) * NUM ELEMENTS, 
results, 0, NULL, NULL); 
- Cl ulong starttime; 
10 clGetEventProfilingInfo(timing event, CL PROFILING COMMAND START, 
sizeof(cl ulong), &starttime, NULL); 
- Cl ulong endtime; 
- ClGetEventProfilingInfo(timing event, CL PROFILING COMMAND END, 
sizeof(cl ulong), &endtime, NULL); 
printf("Elapsed (GPU): %lu ns\n\n", (unsigned Long) (endtime - starttime)); 
- ClReleaseEvent(timing event); 


EP 
( 刀 1 


这 上段 代码 将 事件 timing event 传 给 cLEnqueueNDRangeKkerneL() (第 3 行 )。 当 一 个 命令 完 
成 时 ， 就 可 以 调用 clGetEventProfilingInfo() 来 查看 记录 在 这 个 事件 中 的 时 间 信 息 (第 10 行 
和 第 13 行 )。 


如 果 将 NUM ELEMENTS 设 置 为 100 000, 我 的 MacBook Pro 的 GPU 会 花费 43 000 纳 秒 。 而 如 果 使 
用 简单 循环 在 CPU 中 进行 同样 的 操作 


DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 


for (int i = 0; i < NUM ELEMENTS; ++i) 
results[i] = a[il] * bl[il]:; 


将 同样 的 100 000 个 元 系 相 乘 , 需要 花费 近 400 000 纳 秒 , 可 见 执行 这 个 任务 时 GPU 比 CPU 快 9 倍 。 


注意 事项 
对 数组 相 乘 进行 性 能 分 析 可 能 会 造成 一 些 误区 。 在 执行 命令 之 前 ,程序 将 输入 数据 复制 
到 inputA 和 inputB 缓 存 区 中 ; 在 命令 完成 后 ， 程 序 又 从 output 缓 存 区 中 将 结果 复制 出 来 。 


对 于 数组 相 乘 这 种 简单 任务 来 说 , 这 些 数据 复制 的 2 ， 以 至 于 会 影响 到 整个 
性能 分 析 的 结果 。 实 际 使 用 中 ，OpenCL 应 用 通常 会 对 操作 数 进行 更 复杂 的 操作 ， 或 者 是 对 
已 经 在 GPU 上 的 数 进行 操作 。 


为 简单 起 见 ， 本 例 并 没有 涉及 OpenCL API 的 细节 。 现 在 是 时 候 讨 论 它 们 了 。 
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多 返回 值 
很 多 OpenCL 盟 数 都 会 返回 多 个 值 。 如 果 一 个 平台 文 持 多 个 设备 ，cLGetDeviceIDSs () 困 数 就 
会 返回 多 个 设备 。 其 函数 原型 如 下 : 


cl int clGetDeviceIDs(c\l platform id platform, 
cl device type device type, 


cl uint num entries, 
cl device id* devices, 
Cl uint* num devices); 


参数 devices 是 一 个 长 度 为 num_entries 的 数组 的 指针 ， 参数 num_devices 是 一 个 整数 的 指 
针 。 调 用 cLGetDeviceIDs () 的 一 种 方法 是 使 用 定 长 数组 : 


cl device id devices[8] 
cl uint num devices,; 
clGetDeviceIDs(platform, CL DEVICE TYPE ALL, 8, devices, Snum devices); 


cLGetDeviceIDs() 返 回 时 ，num devices 已 经 被 赋值 为 可 用 设备 的 个 数 ，devices 的 前 
num_devices 个 元 素 也 会 被 设置 好 。 
这 看 似 不 销 ， 但 如 果 可 用 设备 超过 8 个 呢 ? 当然 可 以 使 用 一 个 “大 ”数组 ， 但 经 验 告 诉 我 们 
无 论 设置 多 大 的 数组 ， 总 有 一 天 会 超过 这 个 极 值 。 羊 运 的 是 ， 所 有 返回 数组 的 OpenCL 吨 数 都 提 
供 了 一 种 方式 ， 可 以 返回 任意 大 的 数组 一 一 两 次 调用 站 数 : 


cl uint num devices ; 
clGetDeviceIDs(platform, CL DEVICE _ TYPE ALL, 0, NULL, S&num devices ) ; 


cl device id* devices = (cl device idx)maLLoc(Sizeof(CL device id) * num _ devices ) ; 
clGetDeviceIDs(platform, CL DEVICE _ TYPE ALL, num devices, devices, NULL); 


一 次 调用 clGetDeviceIDs() 时 ， 用 NULL 作 为 参数 devices。 其 返回 时 ，num devices 已 
经 被 设置 成 可 用 设备 的 个 数 。 接 下 来 只 需要 创建 一 个 合适 长 度 的 数组 ， 并 第 二 次 调用 
CLGetDev1LceIDS () 。 


欠 误 处 理 


OpenCL 函数 通过 错误 人 码 来 报错 。CL _ SUCCESS 表示 冰 数 运行 成 功 ; 其 他 的 代码 表示 函数 运行 
失败 。 调 用 clGetDeviceIDs() 并 进行 错误 处 理 的 代码 如 下 : 


cl int Status ; 


cl uint num devices,; 
status = clGetDeviceIDs(platform, CL DEVICE TYPE ALL, 0, NULL, S&num devices); 
if (status != CL SUCCESS) { 
fprintf(stderr, "Error: unable to determine num devices (%d)\n", status); 
exit(1); 
} 
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cl device id* devices = (cl device id*)malloc(sizeof(c\l device id) * num devices); 
status = clGetDeviceIDs(platform, CL DEVICE TYPE ALL, num devices, devices, NULL); 
if (status != CL SUCCESS) { 

fprintf(stderr, "Error: unable to retrieve devices (%d)\n", status); 

exit(1); 
} 


显而易见 ，OpenCL 代 人 码 会 信 助 辅助 消 数 或 辅助 宏 来 消除 重复 代码 ， 类 似 于 : 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 
#define CHECK STATUS(s) do {\ 
cl int ss = (s); \ 
If (ss != CL SUCCESS) { \ 
fprintf(stderr, "Error %d at line %d\n", ss, LINE );\ 


exit(1); \ 
}\ 
} while (0) 
使 用 这 个 辅助 宏 : 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 
CHECK STATUS(clSetkKernelArg(kernel, 0, sizeof(c\l mem)，&AinputA) ) ; 


有 些 困 数 不 返 回 错误 码 ， 而 是 接受 error_ret 人 参数 。 比 如 cLCreateContext () 的 吨 数 
原型 : 


cl context clCreateContext(const cl context properties* properties, 
cl uint num devices, 
const cl device id* devices, 
void (CL CALLBACK* pfn notify)(const char* errinfo, 
const void* private info, 
size tt cb， 
void* user data) ， 


void* user data, 
cl_int* errcode ret); 


对 这 个 子 数 的 错误 处 理 如 下 . 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 


cl int status; 
cl context context = clCreateContext(NULL, 1, &device, NULL, NULL, &status); 
CHECK STATUS (status); 


OpenCL 人 代码 中 还 有 其 他 一 些 常 用 的 错误 处 理 方式 


你 应 该 选择 一 种 最 适合 日 己 的 方式 。 


和 大 入 十 
第 一 大 总 结 


我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 深入 了 解 OpenCL 平 台 、 执 行 和 内 存 模型 。 
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第 一 天 我 们 学 到 了 什么 

利用 OpenCL 可 以 挖掘 出 GPU 的 数据 并 行 处 理 的 能 力 ， 并 进行 通用 编程 ， 从 而 获得 很 大 的 性 
能 提升 。 

口 通过 将 任务 切 分 成 工作 项 ，OpenCL 可 以 将 任务 并 行 化 。 

口 通过 编写 内 核 ， 指 定 了 单个 工作 项 是 如 何 工作 的 。 

口 要 执行 内 核 ， 主 机 程序 必须 遵守 以 下 步 又 : 


(1) 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 

(2) 编译 内 核 ; 

(3) 创建 输入 数据 的 缓存 区 和 输出 数据 的 绥 存 区 ; 

(4) 回 命令 队列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 程序 ; 
(5) 获取 结 采 。 


第 一 大 上 自习 
查找 


口 阅 计 OpenCL 标 准 ( The OpenCL specification )。 

口 阅读 OpenCL API 参 考 卡 片 (The OpenCL API reference card )。 

口 定义 OpenCL 内核 的 是 类 C 语 言 。 它 和 C 语 言 有 什么 不 同 ? 

实践 

口 修改 数组 相 乘 的 内 核 ， 使 其 能 处 理 不 同类 型 的 数组 ， 并 分 析 其 性 能 。 处 理 不 同 数据 类 型 
时 性 能 是 否 有 差异 ?数据 类 型 的 长 度 ( 字 市 数 ) 是 否 会 影响 性 能 ”是 否 会 影响 与 CPU 的 
性 能 比较 结果 ? 

口 之 前 我 们 将 CL MEM COPY HOST PTR 传 给 cLCreateBuffer() 来 创建 并 初始 化 缓存 区 。 修 
改 主机 代码 ， 使 用 CL _MEM USE HOST PTR 或 CL MEM ALLOC HOST PTR (除了 修改 参数 ， 
你 还 需要 修改 一 些 代 码 )， 并 分 析 性 能 。 如 何 权 衡 不 同 缓存 分 配 策 略 的 使 用 ? 

口 修改 主机 代码 ， 用 clEnqueueMapBuffer() 替 换 clLCreateBuffer()， 并 分 析 性 能 。 其 适 
用 于 何 种 场景 ? 不 适用 于 何 种 场景 ? 

口 在 标准 C 的 基础 上 ，OpenCL 还 提供 了 大 量 的 数据 类 型 一 一 特别 是 float4 和 ulong3 这 类 问 
量 类 型 。 修 改 内 核 代 码 ， 进 行 两 组 回 量 的 相 乘 。 这 种 癌 量 类 型 在 主机 端 应 该 如 何 表示 ? 
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昨天 我 们 学 习 了 如 何 用 clEnqueueNDRangeKernel() 执 行 多 个 工作 项 , 来 进行 一 维 数组 的 运 
算 。 今天 将 扩展 到 多 维 数组 的 运算 ， 并 利用 OpenCL 的 工作 组 来 解决 更 大 规模 的 问题 。 
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多 维 工 作 项 空间 
当主 机 程序 调用 clLEnqueueNDRangeKernel() 执 行内 核 时 , 就 定义 了 一 个 索引 空间 , 其 中 的 
每 个 点 都 有 全 局 唯一 的 ID ， 并 代表 一 个 工作 项 。 


内 核 通 过 调用 get global id() 来 查找 当前 正在 处 理 的 工作 项 的 全 局 ID。 上 昨天 的 例子 中 驼 
引 空 间 是 一 维 的 , 因此 内 核 只 需要 调用 get global id() 一 次 。 今 天 我 们 会 创建 一 个 进行 二 维 数 
组 乘法 的 内 核 ， 其 需要 调用 get global id() 两 次 。 


算 阵 乘法 
让 我 们 穿越 回 大 学 时 代 的 线性 代数 诛 符 ， 重 温 一 下 如 何 进 行 矩 阵 乘 法 。 


和 矩 阵 是 一 个 二 维 数组 。 如 果 将 一 个 w x n 的 矩阵 "与 一 个 m x w 的 矩阵 相 乘 ( 注意 第 一 个 矩阵 的 
列 数 一 定 要 等 于 第 二 个 抢 阵 的 行 数 )， 就 会 得 到 一 个 m x 7 的 矩阵 。 例 如 ， 将 一 个 2 x 4 的 矩阵 与 一 
个 3 x 2 的 矩阵 相 乘 会 得 到 一 个 3 x 4 的 和 矩阵。 


为 了 计算 输出 矩阵 上 位 置 为 (i, 旋 的 元 素 的 值 ， 需 要 将 第 一 个 抢 阵 的 第 行 的 每 一 个 元 素 与 第 
二 个 矩阵 第 列 的 对 应 元 系 相 乘 ， 并 将 所 有 乘积 相 加 。 


a b\w XI fawt+by ax+TDz 
c dl\y 2 【ew+ dy cx+dz 
下 面 是 进行 矩阵 乘法 的 串 行 执行 代码 : 


#define WIDTH OUTPUT WIDTH B 
#define HEIGHT OUTPUT HEIGHT A 


float a[HEIGHT A] [WIDTH A] = initialize a»; 
float b[HEIGHT B] [WIDTH B] = «initialize b»; 
float r[HEIGHT OUTPUT] [WIDTH OUTPUT]; 


for (int j = 0; j < HEIGHT OUTPUT; ++j) { 
for (int i = 0; i < WIDTH OUTPUT; ++i) { 
float sum = 0.0; 
for (int k = 0; k < WIDTH A; ++k) { 
sum += a[j][k] * b[lk][il]; 


r[j][i] = sum; 


J 作者 本 章 中 的 w x nn 表示 的 是 一 个 n 行 w 列 的 矩阵 ， 而 通常 我 们 会 用 w x nn 表示 一 个 w 行 n 列 的 矩阵 。 我 们 将 沿用 作者 
的 标记 方法 ， 请 读者 注意 此 差别 。 详 痢 注 

@ 作者 本 章 中 的 心力 表示 的 是 矩阵 的 第 行 第 而 的 元 素 ， 而 通常 我 们 会 用 ( 站 表示 和 矩阵 的 第 1 行 第 ) 列 的 元 素 。 我 们 将 
沿用 作者 的 标记 方法 ， 请 读者 注意 此 差别 。 一 一 详 者 注 
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显而易见 ， 随 着 符 阵 规模 增加 ， 和 抢 阵 相 乘 的 计算 量 会 猛 增 ， 大 移 阵 的 乘法 确实 是 非常 消耗 
CPU 的 。 
并 行 矩 阵 乘 ; 
下 面 是 用 于 和 窍 阵 乘法 的 内 核 代码 : 


DataParallelism/MatrixMultiplication/matrix_multiplication.cl 


Line1 _kernel void matrix multiplication(uint widthA, 

_global const float* inputA, 
_global const float* inputB, 
_global float* output) { 


int i 
int j 


get global id(0); 
get global id(1); 


- int outputWidth = get global size(0); 
10 int outputHeight = get global size(1); 
int widthB = outputWidth; 


float total = 0.0; 
- for (int k = 0; k < widthA; ++k) { 
15 total += inputA[j * widthA + k] * inputB[k * widthB + i]; 


} 
output[]j * outputWidth + i] = total; 


= 

这 个 内 核 是 在 一 个 二 维 索 引 空 间 中 运行 , 索引 空间 中 的 每 个 位 置 都 代表 输出 矩阵 中 的 一 个 元 
率 。 内 核 通 过 两 次 调用 get_ global id() 阴 数 来 获取 当前 的 位 置 (第 6、7 行 )。 

调用 get_global _ size() 可 以 获得 索引 空间 的 大 小 ， 内 核 利 用 这 个 特性 可 以 得 到 输出 矩阵 
的 大 小 (第 9、10 行 )。 同 时 也 得 到 了 widthB， 因 为 它 与 outputwidth 相 等 。 不 过 还 是 要 依 徘 参 
数 传人 widthA。 

第 14 行 的 循环 是 串 行 版 本 代码 中 的 内 循环 
多 维 的 ， 因 此 没 法 写 出 下 面 这 样 的 代码 : 

output[j][i] = total; 

但 可 以 用 一 个 简单 的 计算 来 确定 数组 偏 移 : 

output[j * outputWidth + i] = total.; 


这 个 内 核对 应 的 主机 程序 与 昨天 的 很 相似 , 唯一 的 区 别 是 调用 clEnqueueNDRangeKernel() 
时 的 参数 : 


唯一 的 区 别 是 ， 由 于 OpenCL 的 缓存 区 不 能 是 


DataParallelism/MatrixMultiplication/matrix_multiplication.c 

size t work units[] = {WIDTH OUTPUT, HEIGHT OQUTPUT}; 

CHECK STATUS(clEnqueueNDRangeKernel (queue, kernel, 2, NULL, work units, 
NULL, 0, NULL, NULL)); 
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要 创建 二 维 的 索引 空间 , 需要 设置 work dim( 第 3 个 参数 ) 的 值 为 2, 并 将 global work size 
(第 5 个 参数 ) 设置 为 一 个 二 元 数组 ， 该 二 元 数组 描述 了 每 一 维度 的 大 小 。 

比 起 昨天 的 性 能 分 析 结 果 ， 这 个 内 核 有 更 大 的 性 能 提升 。 在 我 的 Macbook Pro 上 将 200 x 400 
的 矩阵 与 300 x 200 的 和 矩阵 相 乘 ，CPU 花 费 了 66 ms， 而 GPU 花费 了 3 ms， 人 性 能 提升 了 20 多 倍 。 


由 于 这 个 内 核 花 费 了 很 大 的 工作 量 在 处 理 数 据 上 , 因此 即使 将 复制 数据 的 成 本 考虑 进来 , 仍 
能 获得 很 大 的 性 能 提升 。 在 我 的 Macbook Pro 上 ， 数 据 复制 需要 花费 2 ms， 那 GPU 花费 的 总 时 间 
为 S ms， 仍 有 13 傍 的 性 能 提升 。 

到 目前 为 止 ， 本 书 一 直 在 使 用 一 个 假想 的 兼容 OpenCL 标 准 的 GPU。 这 显然 不 太 现 实 ， 因 此 
需要 了 解 如 何 确定 一 个 主机 兼容 哪 种 OpenCL 平 台 和 设备 。 


查询 设备 信息 


OpenCL 提 供 了 多 种 用 于 查询 平台 参数 、 设 备 和 其 他 API 对 和 象 的 函数 。 例 如 下 面 这 个 函数 ,其 
通过 cLGetDeviceInfo() 来 查询 一 个 设备 参数 ， 并 以 字符 串 形 式 输出 : 


DataParallelism/FindDevices/find_devices.c 
void print device param string(cl device id device, 
cl device info param id, 
const char* param name) { 
char value[1024]; 
CHECK STATUS(clGetDeviceInfo(device, param id, sizeof(value), value, NULL)); 
printf("%s; %s\n", param name, value); 


} 


不 同 参数 的 类 型 是 不 一 样 的 (字符 串 、 整 数 、size_t 数 组 等 )。 通 过 一 系列 类 似 的 函数 ， 可 
以 查询 一 个 指定 设备 的 参数 : 


DataParallelism/FindDevices/find_devices.c 
void print device info(cL device id device) { 
print device param string(device, CL DEVICE NAME, "Name"); 
print device param string(device, CL DEVICE VENDOR, "Vendor"); 
print device param uint(device, CL DEVICE MAX COMPUTE UNITS, "Compute Units"); 
print device param ulong(device, CL DEVICE GLOBAL MEM SIZE, "Global Memory"); 
print device param ulong(device, CL DEVICE LOCAL MEM SIZE, "Local Memory"); 
print device param sizet(device, CL DEVICE MAX WORK GROUP SIZE, "Workgroup size"); 
} 


本 书 配 套 代 人 码 中 有 一 个 find_devices 程 序 就 是 使 用 这 样 的 代码 来 查询 可 用 的 平台 和 设备 
的 。 在 我 的 Macbook Pro 上 运行 这 段 程序 会 得 到 以 下 输出 : 


Found 1 OpenCL platform(s) 


Platform 0 
Name: Apple 
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Vendor: Apple 
Found 2 device(s) 


Device 0 

Name: InteL(R) Core(TM) 17-3720QM CPU @ 2.,60GHz 
Vendor: Intel 

Compute Units: 8 

Global Memory: 17179869184 
Local Memory: 32768 
Workgroup size: 1024 
Device 1 

Name: GeForce GT 650M 
Vendor: NVIDIA 

Compute Units: 2 

Global Memory: 1073741824 
Local Memory: 49152 
Workgroup size: 1024 


其 中 有 一 个 可 用 的 平台 , 就 是 默认 的 Apple OpenCL 实 现 。 这 个 平台 有 两 个 设备 : CPU 和 GPU。 
我 们 还 发 现 一 些 有 趣 的 事情 : 

口 OpenCL 不 只 适用 于 GPU (还 适用 于 CPU， 以 及 专用 OpenCL 加 速 融 ); 

口 我 的 Macbook Pro 的 GPU 有 两 个 计算 单元 ( compute unit ) ( 稍 后 会 学 习 什 么 是 计算 单元 ); 


口 这 个 GPU 的 全 局 内 存 ( global memory ) 有 1 GiB; 
口 每 个 计算 单元 的 局 部 内 存 (local memory ) 有 48 KiB, 可 文 持 的 工作 组 的 最 大 规模 为 1024。 


下 面 几 节 将 介绍 OpenCL 的 平台 模型 和 内 存 模型 ， 以 及 它们 对 代码 的 影 啊 。 


小 乔 爱 问 : 
过 ”为 什么 OpenCL 会 适用 于 CPU? 


OpenCL 适用 于 CPU， 这 是 很 多 人 没有 想到 的 。 事 实 上 现代 CPU 支持 数据 并 行 指令 已 
经 很 长 时 间 了 , 例如 Intel 处 理 器 就 支持 流 式 SIMD 扩展 指令 集 (Streaming SIMD Extensions， 
SSE) 和 高 级 矢量 扩展 指令 集 (Advanced Vector Extensions，AVX) 。OpenCL 可 以 高 效 地 使 
用 这 些 扩 展 指令 集 和 多 核 CPU。 


平台 模型 


OpenCL 平 台 由 连接 到 一 个 或 多 个 设备 的 主机 构成 。 每 个 设备 都 有 一 个 或 多 个 计算 单元 ， 
个 计算 单元 提供 很 多 处 理 元 件 〈processing element )， 如 图 7-6 所 示 。 


设备 计算 单元 


- 让 二 二 处 理 元 件 


图 7-6 ”OpenCL 平 台 模 型 


工作 项 是 在 处 理 元 件 中 执行 的 。 在 同一 个 计算 单元 中 执行 的 工作 项 的 集合 称 为 工作 组 一 个 
工作 组 中 的 工作 项 共 这 使 用 局 部 内 存 。 下 面 将 介绍 OpenCL 的 内 存 模型 。 


内 存 模型 
工作 项 执行 内 核 程序 时 ， 会 访问 四 种 不 同 的 内 存 区 域 。 
全 局 内 存 ( Global memory ): 同一 个 设备 上 执行 的 所 有 工作 项 都 可 以 使 用 的 内 存 。 
常量 内 存 ( Constant memory ): 全 局 内 存 的 一 部 分 ， 在 执行 内 核 时 保持 不 变 。 


局 部 内 存 (Local memory ): 工作 组 私有 的 内 存 , 可 用 于 工作 组 中 不 同 工 作 项 之 间 的 通信 ( 稍 
后 会 举例 说 明 )。 


私有 内 存 ( Private memory ): 工作 项 私有 的 内 存 。 


前 儿 半 介绍 过 集合 的 化 位 操作 ,化 简 操 作 可 以 用 于 解决 很 多 问题 。 下 一 届 将 介绍 如 何 实 现 数 
据 并 行 版 的 化 镜 操 作 。 
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小 乔 爱 问 : 
寺 OpenCL 设 备 真 的 是 这 样 工作 的 吗 ? 


OpenCL 的 平台 模型 和 内 存 模型 并 不 限制 底层 硬件 的 工作 方式 。 它 们 只 是 底层 硬件 的 一 
种 抽象 一 一 不 同 的 OpenCL 设备 有 多 种 不 同 的 物理 架构 。 


例如 ， 某 种 OpenCL 设备 的 局 部 内 存 是 计算 单元 私有 的 ,而 另 一 种 设备 的 局 部 内 存 却 是 
映射 到 全 局 内 存 的 一 个 区 域 ; 某 种 设备 是 有 独立 的 全 局 内 存 的 ,而 另 一 种 设备 则 是 直接 访问 
主机 内 存 的 。 


这 些 架 构 上 的 差异 在 优化 OpenCL 代码 时 意义 重大 ， 不 过 这 超出 了 本 章 的 范围 。 


使 用 数据 并 行进 行 化 简 操 作 
本 闻 将 创建 一 个 查找 集合 最 小 元 素 的 内 核 ， 其 使 用 min( ) 函数 对 集合 进行 化 简 。 
先 用 串 行 编程 来 实现 : 


DataParallelism/FindMinimumoOneWorkGroup/find_minimum.c 


cl float acc = FLT MAX; 
for (int i = 0; i < NUM VALUES; ++i) 
acc = fmin(acc, values[i]); 


分 作 两 步 将 其 并 行 化 一 一 第 一 步 使 用 一 个 工作 组 ， 第 二 步 使 用 多 个 工作 组 。 
使 用 一 个 工作 组 进行 化 简 操 作 


为 叙述 方便 〈 稍 后 会 解释 其 原因 ),， 进行 以 下 假设 : 其 一 ,要 化 傈 的 数组 的 元 素 个 数 是 2 的 乘 
方 ; 其 二 ,要 化 体 的 数组 的 元 厅 个 数 不 能 太 多 ， 以 便 一 个 工作 组 就 可 以 处 理 。 在 这 种 假设 下 ， 实 
现 化 简 操 作 的 内 核 为 : 


DataParallelism/FindMinimumOneWorkGroup/find_minimum.cl 


Line1 _ kernel void find minimum(__global const Line 1 float* values, 
- _global float* result, 
_local float* scratch) { 
- int i = get global id(0); 
5 int n = get global size(0); 
scratch[i] = values[i]; 
barrier(CLK LOCAL MEM FENCE); 
for (int j =n/2;j>0;j/= 2) { 
if (i < j) 
10 scratch[i] = min(scratch[i], scratch[i + j]); 
barrier(CLK LOCAL MEM FENCE); 
} 
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if (i == 0) 
*result = scratch[0]; 


下 要 
上 面 的 算法 分 为 三 个 阶段 : 
(1) 从 全 局 内 存 回 局 部 内 存 (scratch ) 复制 数组 (第 6 行 ); (2) 进行 化 徇 操作 (第 8~12 行 ); 
(3) 将 结果 复制 到 全 局 内 存 中 (第 14 行 )。 


化 简 操 作 是 按照 一 个 树 形 顺序 进行 的 , 这 棵 树 非 常 像 我 们 在 介绍 Clojure 的 reducer 时 见 过 的 树 
(参见 3.3 节 )， 如 图 7-7 所 示 。 


/ 
3 


图 7-7 -化 人 简 操 作 的 树 形 顺序 


每 循环 一 次 ， 有 一 半 的 工作 项 将 失去 活性 一 一 原因 是 只 有 i<j 的 工作 项 才 会 进行 操作 (这 就 
是 为 什么 要 假设 数组 的 元 又 个 数 是 2 的 乘 方 一 一 这 样 就 能 一 耻 对 数组 进行 二 分 而 不 用 担心 边界 情 
况 ). 当 只 剩 下 一 个 活动 的 工作 项 时 退出 循环 。 每 个 活动 的 工作 项 在 每 个 循环 中 都 会 进行 一 次 min() 
操作 ， 比 较 当 前 元 系 与 另 一 半数 组 中 的 对 应 元 系 ， 并 取 较 小 者 。 当 退出 循环 时 ，scratch 数 组 的 
第 一 项 就 是 化 价 操 作 的 结果 ， 工 作 组 的 第 一 个 工作 项 负责 将 这 个 结果 复制 到 resuLt 中 。 

这 个 内 核 另 一 个 有 趣 的 地 方 是 其 使 用 了 同步 屏障 (barrier ) (第 7 行 、 第 11 行 ) 来 同步 对 局 部 
内 存 的 访问 。 

同步 屏障 

同步 屏障 (barrier ) 是 一 种 同步 手段 ， 用 来 协调 多 个 工作 项 对 局 部 内 存 的 使 用 。 如 果 工 作 组 
中 一 个 工作 项 执行 了 barrier()， 那 么 该 工作 组 中 其 他 工作 项 必须 都 要 执行 相同 的 barrier() ， 
才能 从 当前 节点 继续 往 下 执行 ( 这 种 同步 方式 也 称 作 rendezvous， 即 会 合 )。 在 进行 化 简 操 作 时 ， 
这 样 做 有 两 个 用 途 。 
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口 在 所 有 工作 项 从 全 局 内 存 问 局 部 内 存 复 制 数 据 的 动作 全 部 完成 之 前 ， 确 保 任 一 工作 项 宛 
不 会 开始 进行 化 镜 操 作 ， 也 确保 了 所 有 工作 项 部 完 成 第 n 轮 循环 之 前 ， 任 一 工作 项 都 不 会 
开始 第 n+1 轮 循环 。 

口 OpenCL 只 提供 了 宽松 的 内 存 一 怪 性 。 这 类 似 于 2.2 市 介绍 的 Java 内 存 模型 的 内 存 可 见 性 
一 个 工作 项 对 局 部 内 存 进行 的 修改 并 不 保证 对 为 一 个 工作 项 可 见 ， 除 非 处 于 某 些 同步 点 ， 

比如 同步 屏障 。 所 以 , 在 每 次 循环 结束 时 执行 同步 屏障 , 可 以 保证 第 n 轮 循环 的 结 采 对 第 n+1 


轮 的 所 有 工作 项 都 可 见 。 


运行 内 核 
运行 这 个 内 核 的 方法 与 我 们 之 前 看 到 的 类 似 一 一 唯一 的 区 别 是 如 何 创建 局 部 缓存 区 : 


DataParallelism/FindMinimumOneWorkGroup/find_minimum.c 
CHECK STATUS(clSetkKernelArg(kernel, 2, sizeof(c\l float) * NUM VALUES, NULL)); 


调用 clSetKernelArg() 时 , 将 arg_size 设 置 为 缓存 区 的 大 小 , 将 arg_value 设 置 为 NULL， 
这 样 就 创建 了 一 个 局 部 缓存 区 。 

现在 已 经 可 以 用 一 个 工作 组 进行 化 简 操 作 了 。 不 过 工作 组 的 大 小 是 存在 限制 的 (比如 ,我 的 
Macbook Pro 的 GPU 上 不 超过 1024 个 元 素 )。 下 面 再 来 看 看 如 何 使 用 多 个 工作 组 实现 并 行 。 


使 用 多 个 工作 组 进行 化 简 操 作 
要 使 用 多 个 工作 组 进行 化 简 操 作 ， 只 需要 将 输入 数组 进行 切 分 并 分 别 化 位 ， 如 图 7-8 所 示 。 


图 7-8 ”使 用 多 个 工作 组 进行 化 简 操 作 
举例 说 明 ， 如 果 每 个 工作 组 一 次 处 理 64 个 值 ， 那 一 个 长 度 为 N 的 数组 会 被 化 简 成 一 个 长 度 为 
M64 的 数组 。 这 个 化 简 后 的 数组 会 再 次 进行 化 简 ， 直 到 仅 剩 下 一 个 值 。 
要 做 到 这 一 点 ， 就 需要 对 内 核 做 一 些 修 改 ， 这 样 才能 人 处理 工作 组 (工作 组 代表 问题 的 一 个 部 
分 ) 为 此 ,OpenCL 会 用 局 部 ID 识别 工作 项 , 这 个 ID 是 工作 项 在 对 应 工作 组 中 的 ID ,如 图 7-9 所 示 。 


局 部 ID0 


图 7-9 工作 组 中 的 局 部 ID 
下 面 这 个 内 核 使 用 了 局 部 ID: 


DataParallelism/FindMinimumMultipleWorkGroups/find_ minimum.cdl 


_ kernel void find minimum(__global const float* values, 
_global float* results, 
_local float* scratch) { 
int i = get local id(0); 
int n = get local size(0); 
scratch[i] = values[get global id(0)]; 
barrier(CLK LOCAL MEM FENCE); 
for (int j] =n/2;j>0;]j /= 2)ft 
if (i < j) 
scratch[i] = min(scratch[i], scratch[i + j]); 
barrier(CLK LOCAL MEM FENCE); 
} 
if (i == 0) 
> results[get group id(0)] = scratch[0]; 
} 


在 之 前 get_global_id() 和 get_global_size() 的 位 置 ， 我们 调用 了 get_local id() 和 
get local size()， 其 分 别 返回 了 工作 项 相对 于 工作 组 起 始 位 置 的 ID 和 工作 组 的 大 小 。 在 将 值 
从 全 局 内 存 复 制 到 局 部 内 存 时 , 仍然 调用 get global id(), 而 向 results 数 组 存储 结果 时 则 调 
用 get group id()。 


还 需要 修改 主机 程序 ， 创 建 合适 数量 的 工作 组 : 


vvyv 


DataParallelism/FindMinimumMultipleWorkGroups/find_ minimum.c 


size t work units[] = {NUM VALUES}; 

size t workgroup Size[] = {WORKGROUP SIZE}; 

CHECK STATUS(clEnqueueNDRangeKernel (queue, kernel, 1, NULL, work units, 
workgroup size, 0, NULL, NULL)); 


如 果 将 Local work size? 设 置 为 NULL， 那 么 和 往常 一 样 ，OpenCL 平 台 将 上 自主 创建 它 认 为 
合适 数量 的 工作 组 ,通过 显 式 设置 local work size 的 值 , 确保 工作 组 的 个 数 符合 我 们 内 核 的 要 
求 ( 当然 , 最 大 个 数 是 由 设备 决定 的 一 一 关于 查看 这 个 限制 的 方法 , 参见 前 面 的 “查询 设备 信息 ” 
=) 


G@ tocal work size 是 cLEnqueueNDRangeKernel() 的 第 6 个 参数 。 一 一 译 者 注 
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人 入/ = 士 
第 二 天 总 结 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 一 个 应 用 的 例子 ， 其 使 用 OpenCL 实 现 物理 仿真 ， 
并 与 OpenGI 集 成 来 显示 结 


第 二 天 我 们 学 到 了 什么 
OpenCL 定 义 了 一 些 用 于 抽象 底层 便 件 细 市 的 概念 ， 包 括 平 侣 、 执 行 和 内 存 模型 。 


口 工作 项 是 在 处 理 元 件 中 执行 的 。 

口 多 个 人 处理 元 件 构 成 了 计算 单元 。 

口 在 同一 个 计算 单元 中 执行 的 一 组 工作 项 构成 工作 组 。 

口 一 个 工作 组 中 的 工作 项 之 间 通 过 局 部 内 存 进行 通信 ， 利 用 同步 屏障 进行 数据 同步 ， 保 证 
一 致 性 。 

第 二 天 自习 

查找 

口 默认 情况 下 ， 命 令 队 列 是 按 序 执行 命令 的 。 如 何 进行 乱 序 执行 ? 

口 什么 是 事件 等 竺 列表 (event wait list ) ? 对 于 一 个 被 发 往 无 序 命令 队 列 的 命令 ， 如 何 利 用 
事件 等 竺 列表 来 限制 其 执行 的 时 机 ? 

口 cLEnqueueBarrier() 是 做 什么 用 的 ?” 同步 屏障 适用 于 何 种 场景 ”事件 等 竺 列表 又 适用 
于 何 种 场景 ? 

实践 

口 修改 化 简 数 组 的 例子 ， 使 其 文 持 任意 个 元 素 ， 而 不 是 仅 文 持 2 的 乘 方 个 元 素 。 

口 修改 化 人 简 数 组 的 例子 ， 使 其 支持 多 个 设备 。 如 果 只 有 一 个 支持 OpenCL 的 设备 ， 也 可 以 使 
用 CPU, 或 者 用 clCreateSubDevices() 对 GPU 进 行 分 区 。 你 需要 为 每 个 设备 创建 一 个 命 
令 队 列 ， 并 将 问题 切 分 ， 使 得 一 部 分 工作 项 在 一 个 设备 上 执行 ， 而 另 一 部 分 工作 项 在 另 
一 个 设备 上 执行 ， 并 保证 命令 队列 之 间 的 同步 。 

口 今天 演示 的 化 简 算 法 非常 简单 。 在 互联 网 上 搜索 一 下 ， 你 会 发 现 有 很 多 方法 都 可 以 改进 
化 人 简 的 效率 。 在 你 的 设备 上 能 让 化 人 简 变 得 多 快 ” 这 些 在 GPU 上 适用 的 优化 方法 是 否 同样 
适用 于 CPU? 
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今天 我 们 将 完成 一 个 完整 的 OpenCL 应 用 ， 其 实现 一 个 物理 仿真 过 程 ， 并 将 结果 可 视 化 。 在 
这 个 过 程 中 , 不 仅 会 学 习 如 何 创建 一 个 进行 并 行 仿真 的 内 核 , 还 会 学 习 如 何 将 OpenCL 和 OpenGL 
集成 起 来 ， 将 整个 过 程 部 放 在 GPU 上 ， 以 减少 在 不 同 缓存 区 之 间 复 制 数据 的 开销 。 
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水 波纹 

今天 的 物理 仿真 的 主题 是 水 波纹 。 虽然 这 次 仿真 不 会 十 分 精细 , 但 作为 游戏 中 的 一 个 效果 应 
该 足够 了 一 一 比如 模拟 雨中 的 湖面 。 

LWJGL 


本 例 中 ,我 们 将 放弃 使 用 C 语 言 , 转 而 使 用 Java 及 其 LWJGL( LightWeight Java Graphics Library ) 
库 "， 这 样 能 更 容易 地 创建 跨 平 台 的 GUI。 

LWJGL 包 闭 了 OpenCL 和 OpenGL ，Java 程 序 可 以 通过 它 来 使 用 OpenGL 和 OpenCL 的 C API。 
OpenGL 从 名 称 上 看 就 与 OpenCL 联 系 紧 密 ， 特 别 是 运行 在 GPU 上 的 OpenCL 内 核 可 以 直接 使 用 
OpenGL 的 绥 存 区 。 


使 用 LWJGL 编 写 的 OpenCL 代 码 与 之 前 C 语 言 版 本 的 代码 十 分 类 似 。 比 如 ， 下面 的 代码 用 于 
初始 化 OpenCL 上 上 下文、 队列 以 及 内 核 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 

CL. create( ); 

CLPlatform platform = CLPlatform.getplatforms().get(0); 

List<CLDevice> devices = platform.getDevices(CL DEVICE TYPE GPU); 

CLContext context = CLContext.create(platform, devices, null, drawable, null); 
CLCommandQueue queue = clCreateCommandQueue(context, devices.get(0), 0, null); 


CLProgram program = 

clCreateProgramWithSource(context, loadSource("zoom.cl"), null); 
Util.checkCLError(clBuildProgram(program, devices.get(0), "", null)); 
CLKernel kernel = clCreateKernel(program, "zoom", Null\); 


可 以 看 出 , 这 段 代码 的 方法 名 和 参数 都 像 极 了 C 语 言 版 本 的 代码 。 为 了 填 平 语言 之 间 的 差异 ， 
比如 Java 中 是 没有 指针 的 ,还 是 需要 修改 少量 代码 。 一 般 来 说 ,是 可 以 将 C 语 言 写成 的 OpenGL 主 
机 程序 通过 LWJGL 翻 译 成 Java 版 本 的 。 


用 OpenGL 显示 网 格 

我 们 并 不 打算 用 过 多 的 篇 幅 来 讨论 OpenGL 元 素 。 不 过 确实 需要 花 点 时 间 ， 来 解释 本 市 的 例 
子 是 如 何 显 示 用 于 表现 水 波纹 的 网 格 的 ， 这 样 有 利于 阅读 后 面 的 OpenCL 代 码 。 

OpenGL 的 3D 场 景 是 由 三 角形 构成 的 。 在 本 例 中 ,将 三 角形 排列 成 如 图 7-10 所 示 的 网 格 。 


可 以 用 两 个 部 分 来 描述 每 个 三 角形 的 位 置 : 一 个 顶点 缓存 区 ( vertex buffer ) ， 其 是 顶点 (在 
3D 空 间 中 的 位 置 ) 的 集合 ; 一 个 索引 缓存 区 (index buffer ) ,其 定义 了 如 何 用 顶点 来 绘制 三 角形 。 


GD http://www.lwjgl.org 
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(0, 0, 0) (1, 0, 0) (2, 0, 0) 
图 7-10 三 角形 排列 成 的 网 格 


在 图 7-10 中 ， 顶 点 0 的 位 置 是 (0, 0, 0)， 顶 点 1 的 位 置 是 (1, 0, 0)， 顶 点 2 的 位 置 是 (2, 0, 0)， 以 


此 类 推 。 对 应 的 项 点 绥 存 区 是 [0, 0, 0, 1, 0, 0, 2, 0, 0, 0, 1, 0, 1, 1, 0, …]。 


对 于 索引 缓存 区 ， 第 一 个 三 角形 使 用 了 顶点 0、1、3; 第 二 个 三 角形 使 用 了 顶点 1、3、4; 第 
三 个 使 用 了 顶点 1、2、4; 以 此 类 推 。 对 应 的 索引 缓存 区 定义 了 一 个 三 角形 带 〈triangle strip ) ， 
其 通过 三 个 顶点 定义 了 第 一 个 三 角形 ， 之 后 的 每 个 三 角形 只 需要 额外 定义 一 个 点 即 可 ， 如 图 7-11 
所 未 。 


图 7-11 三 角形 带 


本 书 配套 代码 中 定义 了 一 个 Mesh 类 , 用 来 生成 顶点 缓存 区 和 索引 缓存 区 的 初始 值 。 下 面 的 代 
人 码 使 用 这 个 类 构造 了 一 个 64 x 64 的 网 格 ， 其 x 轴 和 y 轴 的 范围 都 是 从 -1.0 到 1.0: 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


Mesh mesh = new Mesh(2.0f, 2.0f, 64, 64); 


其 z 轴 的 值 始 终 为 0 一 一 稍 后 涉及 水 波纹 动画 时 会 使 用 非 0 值 。 
生成 的 数据 会 被 复制 到 OpenGL 绥 存 区 中 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


int vertexBuffer = gLGenBuffers( ) ; 
glBindBuffer(GL ARRAY BUFFER, vertexBuffer); 
glBufferData(GL ARRAY BUFFER, mesh.vertices, GL DYNAMIC DRAW); 


int indexBuffer = glGenBuffers(); 
glBindBuffer(GL ELEMENT ARRAY BUFFER, indexBuffer); 
glBufferData(GL ELEMENT ARRAY BUFFER, mesh.indices, GL STATIC DRAW); 
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这 段 代 码 首 先 使 用 gLGenBuffers () 为 每 个 缓存 区 分 配 ID ， 然 后 用 gLBindBuffer() 将 其 绑 
定 到 一 个 目标 上 ， 并 用 gLBufferData( ) 为 其 设置 初始 值 。 索 引 绥 存 区 使 用 了 GL_STATIC_DRAW 
标记 ， 意 味 着 它 是 不 变 的 (事态 的 ); 而 顶点 绥 存 区 使 用 了 GL_DYNAMIC_DRAW 标 记 ， 意 味 着 其 会 
在 动画 帧 之 间 发 生 改 变 


在 实现 水 波纹 的 代码 之 前 ， 先 尝试 一 个 简单 的 例子 一 一 创建 一 个 人 简单 的 内 核 , 让 其 随 着 时 间 
而 放大 网 格 的 面积 。 


从 OpenCL 内 核 访问 OpenGL 缓存 区 
面 这 个 内 核实 现 了 放大 动作 : 


DataParallelism/Zoom/src/main/resources/zoom.cl 


_kernel void zoom( global float* vertices) { 


unsigned int id 
vertices[id] * 


et global id(0); 
01; 


ge 
1. 
} 


其 参数 是 一 个 顶点 缓存 区 ， 负 责 将 该 缓存 区 的 每 个 元 素 都 乘 以 1.01， 每 次 调用 该 内 核 会 将 网 
格 的 面积 放大 1%。 


为 了 能 将 顶点 缓存 区 传 给 内 核 ， 要 创建 一 个 OpenCL 绥 存 区 来 引用 这 个 顶点 缓存 区 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


CLMem vertexBufferCL = 
clCreateFromGLBuffer(context, CL MEM READ WRITE, vertexBuffer, null); 


在 负责 绘制 的 主 循环 代码 中 可 以 使 用 这 个 缓存 区 对 象 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


while (!Display,.isCloseRequested()) { 
glClear(GL COLOR BUFFER BIT | GL DEPTH BUFFER BIT); 
glLoadIdentity(); 
glTranslatef (0.0f, 0.0f, planeDistance); 
glDrawElements(GL TRIANGLE STRIP, mesh,.indexCount, GL UNSIGNED SHORT, 0); 


Display.update(); 


Util.checkCLError(clEnqueueAcquireGLObjects(queue, vertexBufferCL, null, null)); 
kernel.setArg(0, vertexBufferCL); 

clEnqueueNDRangeKernel (gueue, kernel, 1, null, workSize, null, null, null); 
Util.checkCLError(clEnqueueReleaseGLObjects(queue, vertexBufferCL, null, null)); 
clFinish (queue); 


YYYYY 


这 ss 首先 调用 了 cLEnqueueAcquireGLObjects () 
进行 申请 。 然 后 将 这 个 绥 存 区 作为 内 核 的 一 个 参数 ， 并 像 以 前 一 样 调用 了 ctLEnqueueNDR 
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angeKernel()。 最 后 通过 clEnqueueReleaseGLObjects() 来 释放 缕 存 区 ， 并 调用 clFinish() 
来 等 待 发 往 命令 队列 的 命令 运行 完成 。 

运行 这 段 代码, 可 以 看 到 一 个 网 格 刚 开始 很 小 , 但 快速 地 被 放大 ， 最终 成 为 一 个 充满 整个 屏 
匡 的 三 角形 。 

我 们 已 经 完成 了 一 个 简单 的 动画 ， 其 将 OpenGL 和 OpenCL 结 合 在 一 起 。 接 下 来 可 以 实现 更 复 
薪 的 内 核 来 仿真 水 波纹 了 。 


仿真 水 波纹 


现在 要 开始 仿真 水 波纹 的 扩散 效 末 了 。 每 个 波纹 由 两 个 参数 来 定义 : 一 个 扩散 的 中 心 点 《网 
格 中 的 2D 点 ) 和 一 个 开始 扩散 时 间 。 传 给 内 核 的 参数 包括 一 个 指向 OpenGL 顶 点 绥 存 区 的 指针 、 
一 个 含有 扩散 中 心 点 的 数组 以 及 一 个 时 间 数 组 ( 时间 单 位 是 坚 秒 ): 


DataParallelism/Ripple/src/main/resources/ripple.cl 


Line 1 #define AMPLITUDE 0.1 
- #define FREQUENCY 10.0 
- #define SPEED 0.5 
- #define WAVE PACKET 50.0 
#define DECAY RATE 2.0 
- _ kernel void ripple( global float* vertices, 
_global float* centers, 
_global long* times, 
int num centers, 
10 Long now) { 
- unsigned int id = get global id(0); 
- unsigned int offset = id * 3; 


1 
Un 


- float x = vertices[offset]; 
- float y = vertices[offset + 1]; 
15 float z = 0.0; 


- for (int i = 0; i < num centers; ++i) { 
If (times[i] != 0) { 

- float dx = x - centers[i * 2]; 

20 float dy y - centers[i * 2 + 1]; 

- float d = sqrt(dx * dx + dy * dy); 
float elapsed = (now - times[i]) / 1000.0; 
float r = elapsed * SPEED; 

- float delta = r - d; 

25 z += AMPLITUDE * 
- exp(-DECAY RATE * r * r) * 
exp(-WAVE PACKET * delta * delta) * 
cos(FREQUENCY * M PI F * delta); 

} 


30 } 
vertices[offset + 2] = Zz; 


| 
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上 面 的 代码 先 获 取 了 当前 工作 项 的 顶点 在 x 轴 和 y 轴 的 位 置 (第 13、14 行 )。 循 环 (第 17~30 
行 ) 是 用 于 计算 在 z 轴 的 位 置 ， 之 后 将 这 个 位 置 写 回 顶 点 缓存 区 (第 31 行 ) 


在 循环 中 ， 依 次 检查 了 每 一 个 开始 扩散 时 间 非 0 的 水 波纹 。 对 于 每 一 个 这 样 的 水 波纹 ， 首 匈 
计算 当前 工作 项 的 顶点 到 水 波纹 中 心 的 距离 & 第 21 行 ), 然后 计算 水 波纹 扩散 的 半径 x ( 第 23 行 )， 
以 及 当前 顶点 到 波纹 的 距离 5 ( 第 24 行 )， 如 图 7-12 所 示 。 


水 波纹 中 心 . 
[一 @ ”5 
当前 顶点 


图 7-12 ”水 波纹 的 参量 


综合 r 和 6 计算 得 到 z: 
z= AeD” erF5 coOS(FTO) 


其 中 ,4、D、W、F 是 第 量 ,分 别 表示 波纹 的 幅度 、 幅 度 随 着 扩散 的 服 减 程度 、 波 纹 的 宽度 和 波 
纹 的 频 座 。 
最 后 还 需要 修改 一 下 主机 程序 ， 创 建 绥 存 区 : 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 


int numCenters = 16; 

int currentCenter = 0; 

FloatBuffer centers = BufferUtils.createFloatBuffer(numCenters * 2) ， 
centers.put(new float[numCenters * 2]); 

centers.flip(); 

LongBuffer times = BufferUtils.createLongBuffer(numCenters); 
times.put(new long[numCenters]); 

times.flip(); 


CLMem centersBuffer = 

clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY HOST PTR, centers, null); 
CLMem timesBuffer = 

clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY HOST PTR, times, null); 
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并 在 点 击 鼠 标 时 触发 新 的 水 波纹 : 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 


while (Mouse.next()) { 
if (Mouse.getEventButtonState()) { 
float x = ((float)Mouse.getEventX() / Display.getWidth()) * 2 - 1; 
float y ((float)Mouse.getEventY() / Display.getHeight()) * 2 - 1; 


FLoatBuffer center = BufferUtils.createFloatBuffer(2); 

center.put(new float[] {x, y}); 

center.flip(); 

clEnqueueWriteBuffer(queue, centersBuffer, 0, 
currentCenter * 2 * FLOAT SIZE, center, null, null); 

LongBuffer time = BufferUtils.createLongBuffer(1); 

time.put(System.currentTimeMillis()); 

time.flip(); 


clEnqueueWriteBuffer(queue, timesBuffer, 0, 
currentCenter * LONG SIZE, time, null, null); 
currentCenter = (currentCenter + 1) % numCenters ; 
} 
} 


编译 并 运行 这 段 代码 ， 多 次 点 击 网 格 ， 将 会 看 到 如 图 7-13 所 示 的 景象 。 


多 9 : 
3 


2 


NE 
图 7-13 ”水 波纹 


我 们 成 功 了 一 一 在 GPU 上 完成 了 一 次 物理 仿真, 通过 并 行 计算 不 仅 进 行 了 仿真 ,还 对 结 末 进 
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行 了 3D 可 视 化 。 仿 真 和 可 视 化 需要 的 数据 都 在 GPU 上 ， 不 需要 多 余 的 数据 复制 。 


第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 用 OpenCL 在 GPU 上 进行 数据 并 行 的 讨论 。 

第 三 天 我 们 学 到 了 什么 

在 GPU 上 运行 的 OpenCL 内 核 可 以 直接 使 用 在 同一 个 GPU 上 运行 的 OpenGL 程 序 的 绥 存 区 。 我 
们 已 经 学 习 了 以 下 内 容 : 

口 在 OpenCL 中 用 cLCreateFromGLBuffer() 为 一 个 OpenGL 组 存 区 创建 引用 ; 

口 将 OpenGL 组 存 区 作为 参数 传 给 内 核 前 , 使 用 cLEnqueueAcquireGLObjects () 提 出 申请 ; 

口 内 核 运 行 结束 时 ， 使 用 cCLEnqueueReLeaseGLObjects ( ) 释 放 绥 存 区 。 

第 三 天 自习 

查找 


口 什么 是 图 像 对 象 ( image object ) ? 它 和 OpenCL 的 缓存 区 对 象 有 什么 区 别 ? 当 不 需要 与 
OpenGL 交 互 时 ， 图 像 对 象 是 否 适用 ? 

口 什么 是 采样 需 对 象 (sampler object ) ? 它 适 用 于 解决 什么 样 的 问题 ? 

口 什么 是 原子 男 数 (atomic function ) ?什么 场景 下 会 用 原子 消 数 蔡 代 同步 屏障 ? 

实践 

口 在 不 使 用 原子 函数 的 情况 下 , 创建 一 个 内 核 , 其 接受 一 个 整数 缓存 区 (整数 范围 为 0~32 )， 
统计 绥 存 区 中 每 个 整数 的 出 现 次 数 并 形成 统计 直方 图 。 如 采 将 整数 范围 调整 为 0~1024 ， 
方案 应 如 何 修改 ? 

口 使 用 原子 函数 创建 内 核 再 次 解决 上 面 的 问题 ， 并 比较 这 两 个 方案 。 


7.5 复习 


出 于 茶 些 原因 ,在 一 些 关 于 并 行 的 主流 讨论 中 数据 并 行 帝 被 忽略 。 不 过 通过 本 章 的 学 习 , 我 
们 已 经 了 解 到 数据 并 行 是 一 种 非常 强力 的 工具 , 可 以 大 大 改善 代码 的 效率 , 所 有 程序 员 郡 应 该 将 
其 收录 到 目 己 的 工具 箱 中 。 


优点 


数据 并 行 非 第 适用 于 处 理 大 量 数值 数据 ,尤其 适合 于 科学 计算 、 工 程 计算 以 及 仿真 领域 ,， 比 
如 流体 力学 、 有 限 元 分 析 、N 体 模拟 、 模 拟 退 火 、 蚊 群 优化 、 神 经 网 络 等 。 
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GPU 不 仅 是 强大 的 数据 并 行 处 理 融 ， 在 能 耗 方面 也 表现 出 众 ， 比 传统 的 CPU 有 更 优秀 的 
GFLOPS/watt 指标。 世界 上 最 快 的 超级 计算 机 都 广泛 使 用 GPU 或 专用 数据 并 行 协 处 理 带 ”"， 其 中 
能 耗 指标 低 是 一 个 重要 的 原因 。 


缺点 


数据 并 行 编程 ， 更 准确 地 说 是 GPGPU 编 程 ， 在 其 适用 的 领域 内 所 回 披 应。 但 它 并 不 适用 于 
所 有 问题 领域 。 值 得 一 提 的 是 ,虽然 用 数据 并 行 可 以 解决 一 些 非 效 值 问题 ( 比如 目 然 语言 处 理 )， 
但 这 样 做 并 不 容易 一 一 现今 的 工具 集 绝 大 多 数 天 注 的 是 数值 处 理 。 

对 OpenCL 内 核 进行 调 优 是 一 个 拉 术 活 ， 理 解 了 底层 染 构 的 细 市 才能 有 效 地 进行 调 优 。 如 果 
要 号 出 局 效 的 里 平台 的 代码 ,就 会 变 得 异 肖 复杂 。 在 解决 某 些 问题 时 ,从 主机 往 设 备 上 复制 数据 
会 消耗 大 量 的 时 间 ， 这 会 减弱 甚至 抵消 我 们 从 并 行 计算 中 获得 的 收益 。 


其 他 语言 


GPGPU 框 架 还 包括 CUDA”、DirectCompute 以 及 RenderScript Computation”。 


士 、 
结语 


GPGPU 编 程 是 小 规模 应 用 数据 并 行 技术 的 例子 一 一 所 谓 小 规模 ， 指 的 是 程序 运行 在 一 台 计 


算 机 上 。 下 一 章 我 们 将 学 习 Lambda 架 构 ， 使 用 它 可 以 大 规模 ( 跨越 多 台 计算 机 ) 应 用 数据 并 行 
技术 。 


QD GFLOPS 是 十 亿 次 浮 点 运算 / 秒 ( giga floating-point operations per second ) 的 缩写 。GFLOPS/watt 是 用 于 衡量 GPU 效 
能 比 的 单位 。 一 一 译 者 注 

@) http://www.top500.org/lists/2013/06/ 

(3) http://www.nvidia.com/object/cuda home new.html 

(4) http://msdn.conydirectx 

(5) http://developer.android.com/guide/topics/renderscript/compute.html 


Lambda 架 构 


如 朱 需 要 将 一 大 批 货 物 从 国家 的 一 站 运往 太一 疾 ，18 轮 的 大 卡车 是 不 二 之 选 。 如 朱 仅 运送 一 个 
快递 包 右 ,大 卡车 就 不 太 适 用 了 ,因此 综合 性 的 航运 公司 也 会 使 用 一 些小 货车 进行 本 地 的 货物 收发 。 


Lambda 架 构 采 用 了 类 似 的 方法 , 既 使 用 了 可 以 进行 大 规模 数据 批 处 理 的 MapReduce 技 术 , 也 
使 用 了 可 以 快速 处 理 数据 并 及 时 反馈 的 流 人 处理 技术 ， 这 样 的 混搭 能 够 为 大 数据 问题 提供 扩展 性 、 
啊 应 性 和 容错 性 都 很 优秀 的 解决 方案 。 


8.1 并 行 计算 搞定 大 数据 
近年 来 ， 大 数据 时 代 的 到 来 为 数据 处 理 领 域 带 来 了 巨大 的 变化 。 不 同 于 传统 数据 处 理 ， 大 数 


据 领 域 广泛 使 用 了 并 行 计算 一 一 只 要 有 足够 的 计算 资源 就 可 以 处 理 TB 级 别 的 数据 。Lambda 架 构 
是 一 种 大 数据 处 理 技术 ， 源 于 Nathan Marz 在 BackType 和 Twitter 的 经 验 总 结 并 由 此 推广 开 来 。 


与 上 一 章 讨 论 的 GPGPU 编 程 类 似 , Lambda 架 构 也 使 用 了 数据 并 行 搁 术 。 与 GPGPU 编 程 不 同 ， 
Lambda 涤 构 是 站 在 大 规模 场景 的 角度 来 解决 问题 的 ， 它 可 以 将 数据 和 计算 分 布 到 几 十 从 或 几 百 
侣 机 笑 构 成 的 集群 上 进行 。 这 种 技术 不 但 解决 了 之 前 因为 规模 庞大 而 无 法 解决 的 难题 , 还 可 以 构 
建 出 对 便 件 错误 和 人 为 错误 进行 容错 的 系统 。 


Lambda 染 构 包 含 了 很 多 内 容 ， 本 草 只 侧重 于 其 并 发 和 分 布 式 特性 ( 如 需要 深 入 学 习 ， 推 荐 
阅读 Nathan 的 著作 Big Data [MW14] )。 对 于 Lambda 架 构 中 的 诸多 组 件 ,， 本 书 将 侧重 介绍 两 个 主要 
的 : 批 处 理 层 (Batch Layer ) 和 加 速 层 (Speed Layer )， 如 图 8-1 所 示 。 


批 处 理 层 使 用 MapReduce 这 类 批 处 理 技术 从 历史 数据 中 对 批 处 理 视图 进行 预计 算 。 这 种 计算 
效率 很 高 但 延迟 也 很 高 , 所 以 又 增加 了 一 个 加 速 层 , 使 用 流 处 理 等 低 延 迟 技术 从 接收 到 的 新 数据 
中 计算 实时 视图 。 合 并 这 两 种 视图 ， 就 可 以 获得 最 终 的 计算 结果 。 

本 书写 到 现在 ，Lambda 染 构 是 最 复 森 的 专题 。 它 以 很 多 其 他 技术 为 基石 ， 其 中 最 重要 的 就 
是 MapReduce。 第 一 天 ， 我们 将 只 学 习 MapReduce 技 术 ， 而 忽略 其 使 用 的 场景 。 第 二 天 ， 首 先 学 
习 传 统 数据 系统 中 的 问题 ,然后 学 习 在 Lambda 架 构 的 批 处 理 层 如 何 使 用 MapReduce 技 术 解 决 这 些 
问题 。 第 三 天 ， 学 习 流 处 理 技术 ， 以 及 如 何 使 用 这 项 技术 构造 加 速 层 ， 这 样 就 可 以 一 入 Lambda 


8.2 第 一 天 : MapReduce 197 


涤 构 的 全 貌 了 。 


批 处 理 层 批 处 理 视 图 


jn 
yy 


图 8-1 批 处 理 层 和 加 速 层 
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MapReduce 是 一 个 多 义 的 术语 。 其 可 以 指 代 一 类 算法 ， 这 类 算法 分 为 两 个 步骤 : 对 一 个 数据 

结构 首先 进行 映射 (map ) 操作 ， 然 后 进行 化 简 〈reduce ) 操作 。 之 前 的 词 频 统计 的 函数 式 版 本 

正 是 这 样 的 例子 (frequencies 就 是 用 reduce 函 数 实现 的 )。 我 们 在 3.3 节 中 讨论 过 , 将 算法 拆 成 
映射 和 化 简 两 步 的 一 个 好 处 是 易于 并 行 化 。 


MapReduce 还 可 以 指 代 一 类 系统 系统 使 用 了 上 面 的 算法 , 将 计算 过 程 高 效 地 分 布 到 
ee 这 类 系统 不 仅 可 0 分 布 到 集群 的 多 台 计 算 机 上 ， 还 可 以 在 一 全 或 
台 计 算 机 月 演 时 继续 正常 运转 。 
当 MapReduce 指 代 一 类 系统 时 ,可 以 说 它 是 Google 发 明 的 ?除了 Google, 最 流行 的 MapReduce 
框架 是 Hadoop”。 


今天 将 结合 前 面 的 Wikipedia 词 频 统 计 的 例子 ， 用 Hadoop 实 现 一 个 使 用 MapReduce 的 并 行 版 
本 。Hadoop 支 持 多 种 编程 语言 一 一 我 们 选用 Java。 


1 小 乔 爱 问 : 
六 怎么 用 了 这 么 个 名 称 ? 


对 于 Lambda 架构 ”这 个 名 称 有 多 种 推测 。 我 认为 最 好 的 解释 来 自 于 Lambda 架构 之 8 


父 Nathan Marz”: 


Lambda 架构 源 自 于 筷 与 函数 式 编程 的 相似 性 。 从 本 质 上 说 ，Lambda 架构 是 将 计算 耶 数 


GD http://research.google.com/archive/mapreduce.html 
@) http://hadoop.apache.org 
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施加 于 大 量 数据 的 一 种 通用 方法 。 (原文 : The name is due to the deep similarities between the 
architecture and functional programming. At the most fundamental jevel, the Lambda Architecture 


is a general way to compute functions on all your data at once ) 


a. http:/www.manning-Ssandbox.comy/message.jSpa2messageID=1206599 


可 行 性 

开发 和 调试 MapReduce 程 序 的 起 点 是 在 本 地 运行 Hadoop。 要 在 一 个 集群 上 运行 Hadoop 在 过 去 
是 很 痛 否 的 一 一 不 是 每 位 读者 都 有 足够 的 闲置 计算 机 来 组 建 一 个 集群 ， 而 且 就 算 能 组 建 一 个 集 
群 ， 安 装 、 配 置 和 维护 Hadoop 集 群 需要 大 量 的 时 间 和 精力 。 

对 和 运 的 是 ,， 云 计算 提供 了 按 需 使 用 、 计 时 收费 的 虚拟 机 服务 ， 从 而 大 大 改善 了 这 一 状况 。 而 
且 许 多 云 计 算 供 应 商 直 接 提供 了 Hadoop 集 群 的 管理 服务 ， 大 大 简化 了 集群 的 配置 和 维护 。 

我 们 将 使 用 Amazon Elastic MapReduce ( EMR ) 服务 来 运行 本 章 的 例子 ”"。 之 后 都 将 在 EMR 
上 进行 集群 的 启动、 停止 、 复 制 数 据 等 操作 ， 其 背后 的 原理 同样 适用 于 所 有 Hadoop 集 群 。 

为 了 运行 本 章 的 例子 ， 需 要 注册 一 个 Amazon AWS 账 号 ， 并 安装 AWS 和 EMR 命 令 行 工具 2”。 


小 乔 爱 问 : 
过 如何 搞定 Hadoop 的 版 本 ? 


Hadoop 一 直 执 着 地 使 用 一 套 混 乱 的 版 本 号 体系 ， 本 书 撰 写 时 其 活跃 的 版 本 号 就 有 
0.20.x、1.X、0.22.X、0.23.X、2.0.X、2.1X 和 2.2X。 这 些 版 本 支持 两 套 API， 一 套 是 “ 旧 ” 的 
API (org.apache.hadoop .mapred 包 ) ， 另 一 套 是 “新 ”的 API (org.apache.hadoop . 
mapreduce 包 ) 。 


另外 ， 不 同 的 Hadoop 发 行 版 会 打包 Hadoop 某 个 版 本 和 一 系列 的 第 三 方 组 件 > 。 
本 章 的 例子 都 会 使 用 “新 ”的 API， 并 在 Amazon 3.0.2AMI (Hadoop 2.2.0") 上 测试 通过 。 


a. http://hortonworks.com 

b. http://Wwww.cloudera.com 

c. http:/www.maprcom 

d. http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-hadoop-version.html 


GD http://aws.amazon.com/elasticmapreduce/ 
@) http://aws.amazon.com/cli/ 
(3) http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-reference.html 
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Hadoop 基 础 


Hadoop 就 是 用 来 处 理 大 量 数据 的 工具 。 如 采 你 的 数据 不 是 以 音字 东 或 者 更 大 的 单位 来 度量 ， 
那 就 不 适合 使 用 Hadoop。Hadoop 的 效率 源 日 于 它 将 数据 分 块 后 分 别 交 给 多 台 计 算 机 进行 处 理 。 


我 们 很 容易 猜 到 ， 一 个 MapReduce 任 务 由 两 种 主要 的 组 件 构 成 : mapper 和 和 reducer”。mapper 
人 负 贡 将 某 种 输入 格式 (通常 是 文本 ) 映射 为 许多 键 值 对 。reducer 人 负责 将 这 些 键 值 对 转换 成 最 终 的 
输出 格式 (通常 也 是 一 系列 键 值 对 )。mapper 和 reducer 可 以 分 布 在 很 多 不 同 的 计算 机 上 【它们 的 
数目 不 必 相同 )， 如 图 8-2 所 示 。 


前 和 人 输出 
和 和 
8 ® 和 


人 上 
图 


图 8-2 ”Hadoop 数 据 流 


输入 通常 由 一 个 或 多 个 大 文本 文件 构成 。Hadoop 对 这 些 文件 进行 分 片 ( 每 一 片 的 大 小 是 可 配 
置 的 ， 通常 为 64 MB )， 并 将 每 个 分 斤 发 送 给 一 个 mapper。mapper 将 输出 一 系列 键 值 对 ，Hadoop 
再 将 这 些 键 值 对 发 送 给 reducer。 

一 个 mapper 产 生 的 键 值 对 可 以 发 送 给 多 个 reducer。 刍 值 对 的 键 决 定 了 哪个 reducer 会 接受 这 个 
刍 值 对 一 一 Hadoop 确 保 具 有 相同 键 的 键 值 对 (无 论 是 由 哪个 mapper 产 生 的 ) 都 会 发 送 给 同一 个 
reducer 处 理 。 这 个 阶段 通 稼 被 称 为 洗 牌 阶段 ( shuffle phase ) 。 


@) 之 前 的 章节 将 mapper 和 reducer 分 别 译 为 “映射 器 ”和 “化 简 器 "” ， 本 章 中 为 了 和 Hadoop 的 类 名 对 应 ， 保 留 英 文 名 
称 。 译 者 注 
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Hadoop 为 每 个 键 调用 一 次 reducer, 并 传人 所 有 与 该 键 对 应 的 值 。reducer 将 这 些 值 合并 , 再 生 
成 最 终 输出 结果 ( 通常 是 键 值 对 ， 也 可 以 不 是 )。 


理论 略 显 枯燥 一 一 之 前 介绍 过 Wikipedia 词 频 统计 的 例子 ， 现 在 来 实现 它 的 Hadoop 版 本 。 


词 频 统 计 的 Hadoop 版 本 


为 了 让 起 步 更 平稳 , 我们 先 将 需求 简化 为 : 统计 几 个 文本 文件 中 的 词 频 (之 后 会 将 需求 扩展 
到 统计 Wikipedia dump 的 词 频 )。 


本 例 的 mapper 每 次 会 处 理 一 行文 本 , 将 其 切 分 为 单词 ， 再 用 键 值 对 来 摘 述 每 个 单词 。 键 值 对 
的 键 是 单词 本 喘 ， 而 值 则 是 浓 数 1。 对 于 每 个 单词 ， 本 例 的 reducer 会 对 相关 的 所 有 键 值 对 的 值 进 
行 求 和 ， 并 生成 一 个 结 来 键 值 对 ， 该 键 值 对 的 值 是 这 个 单词 在 整个 输入 中 出 现 的 次 数 。 如 图 8-3 
所 不 。 


("one", 1) 
one potato ("potato", 1) 
two potato le ("two", 1) 
three potato 


("potato", 1) 
four ee 


("one", 1) 
("potato", 6) 
("two", 1) 
("three", 1) 


("five", 1) 
("potato", 1) 
("six", 1) 
("potato", 1) 


five potato 
six potato 
seven potato 
more 


一 一 > Map 


> Reduce 


图 8-3” 词 频 统 计 的 Hadoop 版 本 


Mapper 


我 们 的 Map 继 承 了 Hadoop 的 Mapper 类 , 其 接受 四 个 类 型 参数 : 输入 的 键 类 型 、 输 入 的 值 类 型 、 
输出 的 键 类 型 、 输 出 的 值 类 型 . 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/WordCount.java 


Line1 public static class Map extends Mapper<O0bject, Text, Text, IntWritable> { 
private final static IntWritable one = new IntWritable(1); 


public void map(Object key, Text value, Context context ) 
5 throws IOException, InterruptedException { 


8.2 第 一 天 : MapReduce 201 


String Line = vaLue.toString() ; 
IterabLe<String> words = new Words (line); 
for (String word: words ) 
10 Context ,write(new Text (word), one); 
4 
竺 让 
Hadoop 表 示 输 入 和 输出 时 需要 使 用 目 己 的 数据 类 型 (不 能 和 直接 使 用 String 或 者 Integer )。 
mapper 有 要 处 理 的 是 文本 数据 ， 而 不 是 键 人 对 ， 因 此 不 需要 输入 的 键 类 型 (用 0bject 蔡 代 )， 而 输 
入 的 值 类 型 是 Text。 输 出 的 键 类 型 是 Text ， 值 类 型 是 IntWritabte。 


每 处 理 一 行 输入 文本 都 要 调用 一 次 map () 方 法 ， 对 输入 的 行进 行 切 分 。 首 先 将 输入 的 行 转换 
为 Java 的 String 类 型 (第 7 行 ) 然后 将 字符 第 切 分 为 单词 〈 第 8 行 ), 最 后 过 历 所 有 蛙 词 ， 为 每 一 
个 单词 生成 相应 的 键 值 对 ， 其 键 是 单词 本 里， 其 值 是 常数 1 (第 10 行 )。 


Reducer 


我 们 的 Reduce 继 承 了 Hadoop 的 Reducer 类 ， 与 Mapper 类 似 ， 其 参数 也 描述 了 输入 和 输出 的 
刍 值 类 型 ( 本 例 中 键 类 型 都 是 Text ， 值 类 型 都 是 Intwritable ): 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/WordCount.java 


public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { 
public void reduce(Text key, Iterable<IntWritable> values, Context context) 
throws IOException, InterruptedException { 
int sum = 0; 
for (IntWritable val: values) 
sum += val.get(); 
context.write(key, new IntWritable(sum)); 
} 
} 


对 于 每 个 键 , 都 会 调用 一 次 reduce() 方 法 ,values 是 这 个 键 对 应 的 所 有 值 的 集合 。 reduce() 
方法 对 这 些 值 进行 求 和 ， 并 产生 描述 某 个 单词 出 现 总 数 的 键 值 对 。 


现在 已 经 得 到 了 一 个 mapper 和 一 个 reducer， 剩 下 的 任务 就 是 创建 一 个 driver， 这 样 Hadoop 才 
知道 如 何 让 这 几 个 部 分 运转 起 来 。 


Driver 


我 们 的 driver 是 一 个 Hadoop 的 Tool ， 实 现 了 run() 方 法 : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/WordCount.java 8 
Line1 public class WordCount extends Configured implements Tool { 


public int run(String[] args) throws Exception { 
Configuration conf = getConf(); 
5 Job job = Job.getInstance(conf, "wordcount"); 
job.setJarByClass (WordCount.class); 


202 第 8 章 Lambda 架构 


job.setMapperClass (Map.class); 
job.setReducerClass (Reduce.class); 
- job.setOutputkKeyClass (Text.class); 

10 job.setOutputValueClass(IntWwWritable.class); 
FileInputFormat.addInputPath(job, new Path(args[0])); 
FileOQOutputFormat. setOutputPath(job, new Path(args[1])); 
boolean success = job.waitForCompletion(true); 
return success ? 0 : 1; 


public static void main(String[] args) throws Exception { 
int res = ToolRunner.run(new Configuration(), new WordCount(), args); 
System.exit(res) ; 
20 } 
-} 

这 上 段 代 码 主 要 是 公式 化 地 告诉 Hadoop 我 们 要 做 什么 。 首 先 ， 第 7 行 和 第 8 行 设置 『 了 mapper 和 
reducer 的 类 ， 第 9 行 和 第 10 行 设置 了 输出 的 刍 类 型 和 值 类 型 。 这 里 不 需要 设置 输入 的 键 类 型 和 值 
类 型 ， 因 为 默认 情况 下 Hadoop 认 为 我 们 人 处理 的 是 文本 文件 。 也 不 需要 分 别 设置 mapper 输 出 的 键 / 
值 类 型 和 reducer 输 入 的 键 / 值 类 型 ， 因 为 默认 情况 下 Hadoop 认 为 mapper 的 输出 和 reducer 的 输入 具 
有 相同 的 键 / 值 类 型 。 


然后 , 第 11 行 和 第 12 行 告知 Hadoop 如 何 获 得 输入 数据 以 及 如 何 输 出 结 末 。 最后, 第 13 行 局 动 
任务 并 等 行 任务 结 


现在 已 经 完成 了 一 个 完整 的 Hadoop 任 务 ， 可 以 输入 一 些 数据 运行 一 下 本。 

在 本 地 运行 

完 来 尝试 在 本 地 运行 Hadoop 任 务 。 在 本 地 运行 时 程序 无 法 并 行 执行 , 也 无 法 容错 ,不 过 可 以 
用 最 小 代价 来 验证 一 下 程序 是 否 运 行 正 第 ， 而 不 知 要 将 程序 部 团 到 集群 上 再 进行 验证 。 


我 们 需要 一 些 文本 作为 输入 数据 。input 文 件 夹 中 有 两 个 文本 文件 ， 包 括 即 将 进行 分 析 的 
文本 : 


LambdaArchitecture/WordCount/input/file1 .txt 
one potato two potato three potato four 


LambdaArchitecture/WordCount/input/file2.txt 
five potato six potato seven potato more 


虽然 输入 数据 很 短 ， 显 然 不 够 吉 字 市 级 别 ， 不 过 足够 用 来 检验 代码 正确 性 。 要 对 这 两 个 文 
本 文件 进行 词 频 统 计 ， 可 以 用 mvn package 命 令 进 行 编 译 ， 再 调用 下 面 的 命令 在 本 地 启动 
Hadoop 实 例 : 


$ hadoop jar target/wordcount-1.0-jar-with-dependencies.jar input output 


当 Hadoop 运 行 完 成 ， 就 可 以 看 到 一 个 新 文件 夹 output ， 其 包括 两 个 文件 一 一 SUCCESS 和 
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part-r-00000。 SUCCESS 是 一 个 空 文件 ， 只 是 告诉 我 们 任务 运行 成 功 。part-r-00000 的 内 容 
如 下 : 


five 1 
four 1 
more 1 
one 1 
potato 6 
seven 1 
SIX 1 
three 1 
two 1 


我 们 已 经 在 小 数据 规模 的 情况 下 , 在 本 地 验证 了 任务 的 正确 性 , 现在 需要 在 真正 的 集群 上 运 
行 这 个 任务 ， 并 人 处理 更 多 的 输入 。 


1 小 乔 爱 问 : 
过 结果 一 定 是 排序 好 的 吗 ? 


你 也 许 注 意 到 了 输出 的 结果 是 按键 的 字符 序 进行 排序 的 。Hadoop 在 键 值 对 传 给 reducer 
前 会 对 键 进行 排序 ， 这 在 一 些 场景 下 会 有 帮助 。 


但 需要 小 心 。 虽 然 键 值 对 传 给 reducer 前 会 对 键 进行 排序 ， 但 稍 后 将 学 习 到 ， 默 认 情 况 
下 reducer 之 间 是 没有 顺序 的 。partitioner 组 件 可 以 用 于 控制 这 一 行为 ， 但 本 书 不 再 详 述 。 


在 Amazon EMR 上 运行 


要 在 Amazon Elastic MapReduce 上 运行 一 个 Hadoop 任 务 的 步骤 比较 复杂 。 本 书 不 会 深入 讨论 
EMR ， 而 仅 介绍 一 些 必要 的 细 市 。 

输入 和 输出 

EMR 默 认 都 是 对 Amazon S3 "进行 输入 和 输出 。 包 含 代码 的 JAR 包 以 及 日 志文 件 也 会 存储 在 
S3 

首先 ， 创 建 一 个 包含 若干 文本 文件 的 S3 bucket。 由 于 Wikipedia dump 是 XML 文件 而 不 是 文本 
文件 ， 所 以 不 太 适 用 。 本 章 的 配套 代码 中 有 一 个 项 目 ExtractWikiText， 可 以 从 Wikipedia dump 


中 提取 需要 的 文本 。 然 后 ， 将 这 些 文本 上 传 到 $3 bucket 中 。 人 代码 编译 生成 的 JAR 包 需要 上 传 到 另 
一 个 S3 bucket 中 。 


GD http://aws.amazon.com/s3/ 
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向 S3 上 传 大 文件 


如 果 在 上 传 大 文件 时 ,你 的 宽带 像 我 的 一 样 不 够 “ 宽 ”, 可 以 考虑 创建 一 个 临时 的 Amazon 
EC2 实 例 ， 利 用 这 个 实例 下 载 Wikipedia dump、 提 取 文 本 并 将 文本 上 传 到 $S3 上 。 毫 无 疑问 ， 
EC2 和 S3 之 间 有 足够 的 带 


创建 一 个 集群 
创建 EMR 的 集群 有 许多 方法 一 一 本 书 使 用 的 是 命令 行 工具 elastic-mapreduce: 


$ elastic-mapreduce --create --name wordcount --num-instances 11 \ 
--master-instance-type ml.large --slave-instance-type ml.large \ 
--ami-version 3.0.2 --jar s3://pb7con-lambda/wordcount.jar \ 

--arg s3://pb7con-wikipedia/text --arg s3://pb7con-wikipedia/counts 
Created job flow j-2LSRGPBSR79ZV 


上 面 的 命令 创建 了 一 个 名 为 wordcount 的 集群 ， 其 含有 11 个 实例 ( 1 主 10 备 )， 每 个 实例 都 是 
m1.Large 类 型 ， 并 运行 在 3.0.2 AMI" 上 。 最 后 的 几 个 参数 分 别 是 JAR 包 在 S3 上 的 位 置 、 输 入 数据 
在 S3 上 的 位 置 和 输出 数据 在 S3 上 的 位 置 


监控 
IJ 工 


创建 集群 时 命令 行 返回 了 一 个 job flow 的 ID ， 我 们 可 以 用 这 个 ID 建立 SSH 连 接 ， 连 接 到 刚才 
创建 的 集群 : 


$ elastic-mapreduce --jobfLow j-2LSRGPBSR79ZV --ssh 


现在 已 经 处 于 主 实例 上 的 命令 行 中 ， 通 过 查看 日 志文 件 可 以 对 任务 的 进度 进行 监控 


$ tail -f /mnt/var/log/hadoop/steps/1/syslog 

INFO org.apache.hadoop.mapreduce.Job (main): map 0% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map l% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 2% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 3% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 4% reduce 0% 


检查 结果 


在 我 的 测试 中 ， 对 Wikipedia 进 行 词 频 统 计 和 需要 1 小 时 多 一 点 。 运 行 完 成 后 ， 可 以 在 相应 的 $3 
bucket 中 看 到 很 多 文件 : 


part-r-00000 
part-r-00001 
part-r-00002 


GD http://aws.amazon.com/ec2/instance-types/ 
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ee 
这 些 文件 作为 一 个 整体 包含 了 所 有 结果 。 在 每 个 结果 分 块 中 , 结果 是 排序 的 , 但 整体 上 不 是 
排序 的 《参见 “小 乔 爱问 : 结果 一 定 是 排序 好 的 吗 ?”)。 


现在 已 经 可 以 统计 文本 文件 中 的 词 频 了， 不 过 最 好 能 直接 统计 Wikipedia dump 的 词 频 。 下 面 
来 看 看 怎么 做 。 


处 理 XML 


XML 文件 其 实 只 是 对 结构 有 要 求 的 文本 文件 ， 所 以 我 们 很 容易 想到 用 处 理 文 本 文件 的 方式 
来 处 理 XML 文件 。 但 这 是 行 不 通 的 ， 原 因 是 Hadoop 默 认 根 据 换 行 符 对 文件 进行 分 片 ， 而 这 可 能 
会 错误 地 切 分 XML 标签 。 

虽然 Hadoop 默 认 没 有 提供 针对 XML 的 分 片 需 ， 但 利用 另 一 个 Apache 项 目 Mahout 提 供 的 
XmLInputFormat2 可 以 达到 目的 。 为 了 使 用 XmLInputFormat ， 需 要 对 driver 进 行 一 些 修改 : 


LambdaArchitecture/WordCountXml/src/main/java/com/paulbutcher/WordCount.java 


Line1 public int run(String[] args) throws Exception { 
- Configuration conf = getConf ( ) ; 

conf.set("xmlinput.start", "<text"); 

conf.set("xmLlinput.end", "</text>"); 


Job job = Job.getInstance(conf, "wordcount"); 
job.setJarByClass (WordCount. class); 
job.setInputFormatClass (XmlInputFormat.class); 
job.setMapperClass (Map.class); 

10 job.setCombinerClass (Reduce.class); 
job.setReducerClass (Reduce.class); 
job.setOutputkKeyClass (Text.class); 
job.setOutputValueClass(IntWritable.class); 

- FileInputFormat.addInputPath(job, new Path(args[0])); 
15 FileOutputFormat. setOutputPath(job, new Path(args[1])); 


boolean success = job.waitForCompletion(true); 
- return success ?7 0 : 1; 
-} 
在 这 段 代 人 码 中 , 使 用 setInputFormatCtLass() (第 8 行 ) 将 XnmLInputFormat 设 置 为 分 片 器 ， 
并 且 配 置 xmLinput,.start 和 xmLinput.end (第 3 行 和 第 4 行 ) 来 告诉 分 乒 名 我们 关注 的 是 哪个 
标签 。 


仔细 查看 xmlinput .start 的 值 ， 你 可 能 会 觉得 有 点 奇怪 一 一 这 个 值 为 <text， 看 上 去 是 个 


GD http://mahout.apache.org 
@) https://github.conyapache/mahout/blob/trunk/integration/src/main/java/org/apache/mahout/text/wikipedia/ XmlInputFormat.java 
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残缺 的 XML 标签 。XmLInputFormat 对 XML 并 不 进行 完整 的 解析 , 而 只 是 匹配 起 始 和 终止 的 模式 。 
由 于 <text> 标 签 中 可 以 设置 属性 ， 所 以 不 能 设置 xnmLinput.start 为 <text> ， 而 需要 设置 成 


<text, 
还 需要 修改 一 下 mapper: 


LambdaArchitecture/WordCountXmil/src/main/java/com/paulbutcher/WordCount.java 
private final static Pattern textPattern = 
Pattern.compile("^<text.*>(.*)</text>$", Pattern.DOTALL); 
public void map(Object key, Text value, Context context ) 
throws IOException, InterruptedException { 


String text = value.toString!(); 
Matcher matcher = textPattern.matcher(text) ; 
if (matcher.find()) { 
Iterable<String> words = new Words(matcher.group(1)); 
for (String word: words) 
context.write(new Text(word), one); 
} 
} 


每 个 分 片 由 匹配 xmlinput.start 和 xmlinput.end 标 签 之 间 的 文本 (包含 被 匹配 的 标签 ) 构 
成 。 在 进行 统计 之 前 , 这 段 代 码 还 用 了 一 点 正则 表达 式 的 技巧 来 去 除 <text></text> 标 签 〈 防止 
text 这 个 词 的 计数 不 准 )。 

你 也 许 已 经 注意 到 driver 中 使 用 了 setCombinerClass()( 第 10 行 ) 来 设置 combiner。 combiner 
是 一 种 优化 手段 ， 使 键 值 对 可 以 在 发 往 reducer 前 进行 合并 (如 图 8-4 所 示 ) 我 进行 了 一 下 测试 ， 
程序 的 运行 时 间 从 1 个 多 小 时 下 降 到 45 分 钟 。 


("one",]) ("one",l) 
one potato ("potato",1) ("potato",3 
two potato ce ("two",l) = ("two",l) 


three potato ("potato",l1) ( three’,l) 


four 


("one",l]) 
(人 Potato” .6) 
(two",]) 
("three",l) 


("five",1) ("five",1) 


five potato ("potato",1) ("potato",3) 

six potato ("six",l]) ("six",1) 1 
Ps 和 一 -一 

Seven potato (potato ,]) ("Seven'" ,1) 


一 一 和 > Map 
more 


—-—> Combine 


> Reduce 


图 8-4 ”使 用 combiner 
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在 我 们 的 场景 中 ，reducer 起 的 作用 和 combiner 一 样 ， 但 在 其 他 场景 中 可 能 就 需要 单独 的 
combiner。 当 设置 了 一 个 combiner 时 ，Hadoop 并 不 能 保证 一 定 会 使 用 它 ， 所 以 必须 确定 我 们 的 算 
法 不 依赖 于 是 否 调用 combiner， 也 不 依赖 于 调用 了 多 少 次 combiner。 


x 小 乔 爱 问 : 
过 Hadoop 只 有 速度 优势 吗 ? 


一 个 通常 的 误解 是 : Hadoop 的 优 执 只 有 速度 提升 一 一 比 起 使 用 一 人 台 计 算 机 ，Hadoop 可 
以 在 多 台 计 算 机 上 更 快 地 处 理 海量 的 数据 ， 这 的 确 是 个 诱 人 的 优势 。 但 它 还 有 其 他 优势 。 


D 当 涉 及 数 百 台 计 算 机 构成 的 集群 时 ， 采 统 解 清 不 再 是 一 个 “ 极 少 发 生 的 风险 ”， 而 是 一 
种 “很 有 可 能 发 生 的 必然 "。 如 果 一 台 计 算 机 的 崩 满 就 会 引发 整个 系统 鹿 渍 ， 那 么 这 个 
系统 基本 上 没有 实用 价值 。 因 此 ，Hadoop 天 生 就 具有 处 理 错误 和 从 错误 中 恢复 的 能 


口 与 上 一 条 相关 ， 我们 不 仅 要 考虑 将 节点 崩 渍 时 正在 处 理 的 任务 重新 执行 ,还 需要 考虑 
当 存 储 发 生 故 障 时 如 何 保证 数据 不 丢失 。Hadoop 默认 使 用 Hadoop 分 布 式 文件 系统 
(HDFS)， 这 个 有 容错 能 力 的 分 布 式 文件 系统 可 以 在 多 个 节点 之 间 宛 余数 据 。 


口 涉及 吉 字 节 级 别 以 上 的 数据 时 ， 就 不 能 将 所 有 中 间 数 据 或 结果 全 部 存放 在 内 存 中 。 
Hadoop 在 处 理 过 程 中 将 键 值 对 存储 在 HDFS 中 , 这 样 就 可 以 不 受 内 存 限 制 ,完成 数据 
量 非常 大 的 任务 。 
综 上 所 述 , 这 些 优 点 都 是 革命 性 的 。 本 书 只 在 本 章 中 使 用 了 完整 的 Wikipedia dump 作为 
词 频 统计 的 输入 数据 , 这 并 不 是 巧合 一 一 MapReduce 是 本 书 介 绍 的 唯一 能 处 理 这 个 量 级 数据 
的 技术 。 


第 一 天 总 结 

第 一 天 的 学 习 结 束 了 。 第 二 天 我 们 将 学 习 如 何 用 Hadoop 实 现 Lambda 架 构 的 批 处 理 层 。 

第 一 天 我 们 学 到 了 什么 

将 一 个 问题 拆 分 成 一 个 映射 操作 和 一 个 化 简 操 作 ， 使 其 更 容易 被 并 行 化 。MapReduce， 在 本 
章 中 使 用 的 这 个 术语 特 指 一 个 使 用 多 人 台 计 算 机 的 、 由 映射 操作 和 化 简 操 作 构 成 的 、 高 效 且 容错 的 
分 布 式 系统 。Hadoop 就 是 一 个 MapReduce 系 统 ， 其 可 以 做 到 : 

口 将 输入 分 配给 多 个 mapper， 每 个 mapper 都 会 产生 一 些 键 值 对 ; 

口 这 些 键 值 对 会 被 发 送 给 reducer， 产 生 最 终 的 输出 (通常 也 是 一 系列 键 值 对 ); 

口 每 个 reducer 对 应 的 键 是 不 同 的 ， 因 此 具有 相同 键 的 键 值 对 都 会 发 送 给 同一 个 reducer 进 行 

处 理 。 
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第 一 天 目 习 
查找 


口 阅读 Hadoop streaming API 的 文档 ， 通 过 Hadoop streaming 可 以 使 用 其 他 语言 创建 
MapReduce 任 务 ， 比 如 Ruby、Python 或 Perl。 

口 阅读 Hadoop pipes API 的 文档 ， 通 过 Hadoop pipes 可 以 用 C++ 创建 MapReduce 任 务 。 

口 有 很 多 基于 Hadoop Java API 的 库 , 利用 它们 可 以 很 容易 地 创建 复杂 的 MapReduce 任 务 。 比 
如 Cascading、Cascalog 和 Scalding。 


实践 


口 在 词 频 统 计 程 序 运行 时 ， 尝 试 干掉 集群 中 的 一 台 计 算 机 (不 要 干 挥 主 证 点 一 一 Hadoop 不 
能 处 理 主 市 点 的 朋 江 ), 检查 整个 过 程 中 的 日 志 , 看 看 Hadoop 如 何 重 试 故 障 节 点 上 的 任务 。 
检查 最 终结 果 ， 其 正确 性 不 应 受到 故障 的 影响 。 

口 现在 的 词 频 统计 程序 能 很 好 地 完成 本 职工 作 , 但 如 果 想 知道 “Wikipedia 最 常用 的 100 个 词 
是 什么 2 “， 就 需要 改进 一 下 程序 。 利 用 二 级 排序 ( Secondary Sort ) 可 以 获取 全 局 排序 的 
结果 (网络 上 有 许多 文章 介绍 如 何 实现 )。 

口 Top ten 模 式 是 解决 “Wikipedia 最 常用 的 词 ” 这 个 问题 的 男 一 种 方法 。 利 用 这 个 模式 尝试 
解决 一 下 。 

口 有 些 问题 无 法 用 单个 MapReduce 任 务 来 解决 一 一 经 常 需要 串联 多 个 任务 , 前 一 个 任务 的 输 
出 是 后 一 个 任务 的 输入 。 以 PageRank 算 法 为 例 ,创建 一 个 Hadoop 程 序 来 计算 每 个 Wikipedia 
页 面 的 page rank。 多 少 个 迭代 后 结果 才能 达到 稳定 ? 


8.3 ”第 二 天 : 批 处 理 层 
昨天 学 习 了 如 何 用 Hadoop 在 一 个 集群 中 进行 并 行 计算 。 MapReduce 适 用 于 解决 各 种 各 样 的 问 
题 ， 今 天 我 们 将 学 习 在 Lambda 架 构 中 如 何 使 用 MapReduce。 


不 过 ， 在 正式 学 习 之 前 先 来 了 解 一 下 Lambda 架 构 要 解决 的 主要 问题 一 一 传统 数据 系统 有 什 
么 缺陷 ? 


传统 数据 系统 的 缺陷 
数据 系统 不 是 一 个 新 概念 一 一 从 计算 机 发 明之 初 , 数据 库 束 一 直 负 员 和 存储 和 处 理 数据 。 传 统 
数据 库 适 用 于 一 台 计 算 机 ， 但 随 春 处 理 的 数据 量 越 来 越 大 ， 数 据 库 就 必须 使 用 多 合计 算 机 。 
扩展 性 


利用 某 些 技术 ( 比如 复制 、 分 片 等 ) 可 以 将 传统 数据 库 扩展 到 多 台 计 算 机 上 , 但 随 春 计算 机 
数量 和 查询 数量 的 增加 ， 应 用 这 种 方案 会 变 得 越 来 越 困 难 。 超 过 一 定 程 度 , 增加 计算 机 资源 将 无 
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法 继续 改善 性 能 。 

维护 成 本 

维护 一 个 览 多 台 计 算 机 的 数据 库 的 成 本 是 比较 高 的 。 如 果 要 求 维 护 时 不 能 停机 , 那么 维护 将 
变 得 更 加 困难 一 一 比如 对 数据 库 进行 重新 分 片 。 随 看 数据 量 和 查 何 数量 的 增加 ， 容 错 、 备 份 、 确 
保 数据 一 任性 每 工作 的 难度 部 会 呈 儿 何 级 数 增长 。 

复杂 度 

复制 和 分 厂 通 肖 要 求 应 用 层面 提供 一 些 文 持 一 一 应 用 和 需要 知道 将 查询 发 给 哪 一 台 计 算 机 ,以 
及 应 该 更 新 哪 一 个 数据 分 片 〈 每 个 更 新 所 对 应 的 分 毛 通 毅 不 一 样 ， 规 则 也 比较 复杂 )。 程 序 员 习 
惯 使 用 的 许多 特性 ( 例如 对 事务 的 支持 ) 在 数据 库 分 片 后 者 无 法 使 用 。 也 就 是 说 程序 员 必 须 显 式 
处 理 失 败 的 事务 并 进行 重 试 。 这 些 虱 增加 了 使 用 传统 数据 库 的 复杂 上 度 ， 也 增加 了 出 错 的 可 能 。 

人 为 错误 

讨论 容错 性 时 很 容易 被 忽略 的 就 是 人 为 错误 。 许多 数据 故障 不 是 由 于 存储 故障 引起 的 ,而 是 
由 于 管理 员 或 开发 人 员 的 人 为 错误 引起 的 。 如 果 运 气 比较 好 ， 这 类 错误 可 以 被 快速 定位 ,并 通过 
还 原 备 份 来 恢复 ,但 不 是 所 有 错误 郡 可 以 轻易 解决 。 设 想 一 下 ,如 采 有 一 个 隐藏 了 几 周 的 数据 错 
误 突 然 引 发 了 大 面积 的 天 省 ， 我 们 又 该 如 何 修复 数据 库 呢 ? 


有 时 ,我 们 可 以 分 析 错 误 的 影响 克 围 ， 并 写 一 个 临时 的 脚本 来 修复 数据 库 。 有 了 时， 我们 可 以 
通过 重 放 数据 库 日 志 ( 假设 数据 库 日 志 记 录 了 所 有 必要 的 信息 ) 来 回 滚 这 个 错误 。 有 时 ， 我 们 只 
能 承认 运气 不 佳 。 每 次 虱 依 赖 运气 可 不 是 一 个 好 的 长 久之 计 。 


报表 与 分 析 


传统 数据 库 擅 长 于 运 膏 文 持 ， 即 处 理 日 第 的 业务 数据 。 如 果 要 处 理 历史 数据 ， 比 如 生成 报表 
或 进行 效 据 分 析 ， 传 统 数据 库 的 效率 就 比较 低 了 。 


典型 的 解决 方案 是 在 独立 的 数据 仓库 中 用 男 一 种 格式 来 维护 历史 数据 ,数据 从 业务 数据 库 问 
数据 仓库 的 迁移 过 程 就 是 著名 的 茶 取 ( extract )、 转 置 ( transform )、 加 载 (load ) ( 简称 ETL )。 这 
种 方案 不 仅 复 化 ， 而 且 需 要 准确 预测 将 来 我 们 需要 什么 信息 。 有 时 会 碰 到 这 种 情况 : 由 于 缺乏 必 
要 的 信息 或 者 信息 格式 不 对 ， 无 法 生成 所 需 报 表 或 进行 某 些 分 析 。 

现在 学 习 Lambda 架 构 如 何 解 决 这 些 问 题 。Lambda 架 构 不 仪 能 处 理 现代 应 用 中 的 大 量 数 据 ， 
而 且 其 使 用 也 比较 简单 ， 可 以 从 技术 性 故障 和 人 为 故障 中 恢复 ， 并 维护 完整 的 历史 数据 ， 这 样 就 
可 以 在 未 来 生成 任何 想 要 的 报表 ， 进 行 任何 想 要 的 分 析 。 


永恒 的 真相 
我 们 可 以 将 信息 分 为 两 类 一 一 原始 数据 及 ( 源 于 原始 数据 的 ) 衍生 信息 。 
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以 Wikipedia 的 页 面 为 例 ，Wikipedia 的 页 面 是 被 持续 更 新 的 ， 也 就 是 说 今天 看 到 的 菏 个 
页 面 和 昨天 看 到 的 同一 个 页 面 的 内 容 可 能 是 不 同 的 。 但 是 在 Wikipedia 的 结构 中 ， 页面 并 不 是 
原始 数据 一 一 一 个 页 面 是 由 许多 贡献 者 的 奋 干 次 编辑 记录 构成 的 。 这 些 编辑 记录 才 是 原始 数 
据 ， 而 页 面 是 其 衍生 信息 。 

另外 ， 虽 然 页 面 每 天 都 在 变 ， 但 编辑 记录 是 不 变 的 。 一 旦 贡献 者 进行 了 一 次 编辑 ， 这 个 编辑 
记录 就 不 会 改变 了 。 后 续 的 编辑 记录 可 能 影响 或 回 深 本 条 编辑 产生 的 效果 ,也 会 影响 到 页 面 的 内 
容 ， 但 编辑 记录 本 刁 是 不 变 的 。 

在 任何 数据 系统 中 信息 都 可 以 这 样 分 类 。 银行 账户 的 余额 是 衍生 信息 ,而 账户 的 收入 和 支出 
是 原始 数据 ; Facebook 的 friend graph 是 衍生 信息 ， 而 添加 好 友和 删除 好 友 的 事件 是 原始 数据 。 与 
Wikipedia 的 编辑 记录 类 似 ， 收 入 记录 、 文 出 记录 、 添 加 好 友 事 件 、 删 除 好 友 事 件 都 是 不 变 的 。 


原始 数据 是 永恒 的 真相 ， 也 是 Lambda 架 构 的 基础 。 下 一 市 我 们 将 学 习 其 如 何 利 用 原始 数据 
来 解决 传统 数据 系统 碰 到 的 问题 。 


WW 。 小 乔 爱 间 : 
寺 。 原始 数据 真 的 都 是 不 变 的 ? 


年 看 上 去 ,有 一 些 原 始 数 据 不 大 可 能 是 永远 不 变 的 。 比 如 用 户 的 家 庭 住址 ?如果 用 户 搬 
不 

这 类 数据 可 以 是 不 变 的 一 一 我 们 只 需要 添加 一 个 时 间 惟 。 以 前 我 们 的 记录 是 Charlotte 
lives at 22 Acacia Avenue， 而 添加 时 间 改 后 的 记录 是 On March 1, 1982, Charlotte lived at 22 
Acacia Avenue。 这 样 ， 无 论 将 来 发 生 什 么 ， 原 始 数据 仍然 是 不 变 的 。 


数据 还 是 原始 的 好 

建议 大 家 现在 集中 注意 力 。 如 前 所 述 ， 不 变性 和 并 行 计 算是 天 作 之 合 。 

美好 的 设想 

现在 来 做 一 个 简短 的 设想 。 假 如 有 一 个 无 限 快 的 计算 机 ， 可 以 在 瞬间 处 理 TB 级 别 的 数据 。 
那么 只 需要 保存 原始 数据 而 不 需要 保存 衍生 信息 , 因为 在 需要 的 时 候 可 以 由 原始 数据 推导 出 衍生 
信息 。 

在 这 种 情况 下 ,由 于 数据 是 不 变 的 ,存储 数据 的 成 本 大 幅 下 降 ， 就 大 大 降低 了 传统 数据 库 系 
统 的 复杂 度 。 和 存储 介质 只 知 要 让 我 们 附加 新 的 数据 即 可 。 由 于 数据 被 存储 后 束 不 可 变 了 ， 那 束 不 
再 知 要 那些 精密 的 锁 机 制 和 事务 机 制 了 。 
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更 进一步 ， 当 数据 不 可 变 时 ， 多 个 线程 可 以 并 行 地 访问 数据 ， 而 不 用 担心 相互 之 间 的 作用 。 
我 们 可 以 对 数据 进行 复制 ， 再 对 副本 进行 操作 ， 而 不 用 担心 数据 过 期 ， 所 以 在 集群 中 分 布地 处 理 
数据 就 变 得 非常 容易 。 


1 。 小 乔 爱问 
寺 ”删除 数据 该 怎么 处 理 ? 


有 些 情况 下 ,我 们 有 足够 的 理由 删除 原始 数据 。 原 因 可 能 是 数据 已 经 不 再 使 用 了 ， 也 可 
能 是 审计 或 安全 的 因素 〈 比 如 ,数据 保护 法 规 可 能 要 求 数 据 存在 一 段 时 间 后 不 再 继续 保存 ) 。 

这 并 不 意味 着 我 们 之 前 说 错 了 。 尽 管 可 以 选择 遗忘 那些 要 被 删除 的 原始 数据 ， 它们 仍然 
是 不 变 的 。 

当然 ， 设 想 终归 是 设想 ,不 过 见识 了 MapReduce 的 威力 之 后 ， 你 会 惊讶 于 我 们 是 如 此 
接近 理想 。 


设想 〈 几 乎 ) 变 为 现实 

如 果 能 够 准确 预测 出 未 来 会 对 原始 数据 进行 怎样 的 查询 ， 就 可 以 预计 算出 一 个 批 处 理 视图 ， 
这 个 视图 包含 这 些 查 询 将 要 返回 的 衍生 信息 , 或 者 那些 可 以 计算 出 这 些 衍 生 信 息 的 数据 。Lambda 
架构 的 批 处 理 层 就 是 用 来 计算 这 些 批 处 理 视 图 的 。 

批 处 理 视 图 可 以 包含 衍生 信息 ， 比 如 : 假设 要 用 一 系列 编辑 记录 来 构建 Wikipedia 的 页 面 一 一 
批 处 理 视 图 将 只 包含 从 页 面 的 编辑 记录 中 计算 得 来 的 页 面 内容 。 

批 处 理 视图 也 可 以 包含 可 以 计算 出 衍生 信息 的 数据 , 这 类 情况 会 稍微 复杂 一 些 , 这 也 是 今天 
的 讨论 重点 。 我 们 将 用 Hadoop 来 构造 批 处 理 视图 ， 通 过 批 处 理 视图 可 以 查询 某 个 Wikipedia 页 献 
者 在 某 一 段 时 间 内 进行 了 多 少 次 编辑 。 


Wikipedia 贡 献 者 

我 们 理想 中 的 查询 应 该 是 这 样 的 : “Fred Bloggs 在 2012 年 6 月 5 日 下 午 3:15 到 2012 年 6 月 7 日 上 
午 10:45 之 间 进 行 了 多 少 次 编辑 ? ”为 了 达到 这 个 目的 ， 就 需要 维护 每 个 编辑 记录 的 编辑 时 间 并 
进行 索引 。 如 采 这 种 查询 是 必要 的 , 那 我 们 的 成 本 会 比较 局 , 不 过 实际 上 不 需要 如 此 细 粒 度 的 查 
询 一 一 按 天 来 维护 数据 已 经 绰绰有余 了 。 

所 以 批 处 理 视 图 就 会 按 天 进行 统计 ， 如 图 8-5 所 示 。 

如 采 只 需要 查询 儿 天 的 状况 , 那 现在 已 经 满足 要 求 了 , 但 如 果 要 查询 几 个 月 的 状况 ,就 需要 
合并 许多 值 ( 如 果 需 要 一 年 的 数据 ， 就 需要 统计 365 天 的 贡献 次 数 )。 如 果 能 同时 按 天 和 按 月 维护 
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数据 ， 就 可 以 减少 计算 工作 量 ， 如 图 8-6 所 示 。 


Fred 的 贡献 Fred 的 贡献 次 数 
2012-02-26 15:04:16 
2012-02-26 16:23:43 


2012-02-26: 3 
2012-02-26 18:59:03 
2012-02-27 12:56:32 Ol 
-> -02-28: 
2012-02-28 17:09:12 i 
2012-02-28 18:54:28 本 人 


2012-03-02 12:00:36 
2012-03-05 10:34:19 


图 8-5” 按 天 统计 的 批 处 理 视图 


Fred 和 的 页 献 Fred 的 贡献 次 数 
eso 
Es 2012-02-27: 1 


2012-02-26 18:59:03 


2012-02-27 12:56:32 5 < 
一 -UA: 
2012-02-28 17:09:12 0 
2012-02-28 18:54:28 1 
2012-03-02 12:00:36 2012-03: 2 


2012-03-05 10:34:19 
图 8-6 ” 按 天 和 按 月 统计 的 批 处 理 视图 


计算 一 年 中 某 用 户 的 贡献 数 时 ， 计 算 次 数 从 365 次 降 到 了 12 次 。 通 过 增加 或 删 减 以 天 为 单位 
的 数据 ， 就 可 以 处 理 开始 时 间或 结束 时 间 不 是 整 月 的 查询 时 间 区 段 ， 如 图 8-7 所 示 。 


尾 一 一 一 一 一 一 一 一 查询 时 间 区 段 一 一 一 一 一 一 一 > 


按 月 统计 的 数据 一 时 时代 于 


按 天 统计 的 数据 和 


减 加 
图 8-7 ”查询 某 用 户 在 一 个 时 间 区 上 段 内 的 贡献 数 


贡献 者 日 志 
遗憾 的 是 ， 我 们 无 法 获得 Wikipedia 贡 献 者 的 fed。 我们 希望 fted 是 如 下 格式 的 : 


2012-09-01T14:18:132 123456789 1234 Fred Bloggs 
2012-09-01T14:18:152Z 123456790 54321 John Doe 
2012-09-01T14:18:16Z 123456791 6789 Paul Butcher 


第 一 列 是 时 间 鹤 , 第 二 列 是 页 献 记 录 的 标识 答 , 第 三 列 是 贡献 者 的 用 户 ID, 第 四 列 是 贡献 者 
的 用 户 和 名 。 
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Wikipedia 虽 然 没 有 提供 这 样 的 feed, 却 提供 了 包含 全 部 历史 数据 的 周期 性 的 XML dump”( 我 
们 需要 其 中 的 enwiki-Latest-stub-meta-history )。 


本 章 的 配套 代码 中 有 一 个 项 目 ExtractWikiContributors, 其 可 以 将 一 个 dump 转 化 为 上 述 feed 格 
式 的 日 志文 件 。 


下 一 节 我 们 将 创建 一 个 Hadoop 人 任务， 接受 这 些 日 志文 件 并 生成 批 处 理 视图 需要 的 数据 。 
计算 贡献 数 
这 个 Hadoop 任 务 仍然 包括 一 个 mapper 和 一 个 reducer。 mapper 非 党 简单， 只 是 解析 贡献 者 日 志 
中 的 一 行 ， 并 产生 一 个 键 值 对 ， 其 键 是 贡献 者 的 用 户 ID ， 其 值 是 贡献 记录 的 时 间 蕉 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulbutcher/WikipediaContributors.java 
public static class Map extends Mapper<0Object, Text, IntWritable, LongWritable> { 


public void map(Object key, Text value, Context context ) 
throws IOException, InterruptedException { 


Contribution contribution = new Contribution(value.toString()); 
context.write(new Intwritable(contribution.contributorId), 
new LongWritable(contribution.timestamp)); 


其 中 大 部 分 工作 都 由 Contribution 类 完成 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulbutcher/Contribution.java 


Line 1 class Contribution { 
static final Pattern pattern = Pattern.compile("^([^\\s]*) (\\d*) (Var) (.*)$"); 
static final DateTimeFormatter isoFormat = ISODateTimeFormat.dateTimeNoMillis(); 


5 public long timestamp; 
public int id; 
public int contributorId; 
public String username; 


10 public Contribution(String line) { 
Matcher matcher = pattern.matcher(line); 
If(matcher ,find()) { 
timestamp = isoFormat.parseDateTime(matcher.group(1)).getMillis!(); 
id = Integer.parseInt (matcher.group(2)); 
15 contributorId = Integer.parseInt (matcher.group(3)); 
username = matcher.group(4); 


(QD http://dumps.wikimedia.org/enwiki 
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有 很 多 种 方法 可 以 解析 日 志文 件 的 一 行 一 一 本 例 使 用 的 是 正则 表达 式 ( 第 2 行 ), 如 果 其 匹配 ， 
则 使 用 Joda-Time 库 "的 ISODateTimeFormat 来 解析 时 间 戳 ， 并 将 时 间 转 换 为 长 整数 ( 第 13 行 )， 
这 个 长 整数 是 自 1970 年 1 月 1 日 到 该 时 间 所 经 过 的 毫秒 数 。 贡 献 记 录 的 ID 和 贡献 者 的 用 户 ID 是 整 
数 ， 这 一 行 剩余 的 部 分 是 贡献 者 的 用 户 名 。 

reducer 则 会 负责 更 多 的 工作 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulbutcher/WikipediaContributors.java 


Line1 public static class Reduce 

extends Reducer<IntWritable, LongWritable, IntWritable, Text> { 

static DateTimeFormatter dayFormat = ISODateTimeFormat.yearMonthDay(); 
static DateTimeFormatter monthFormat = ISODateTimeFormat.yearMonth(); 


public void reduce(IntWritable key, Iterable<LongWritable> values, 
Context context) throws IOException, InterruptedException { 
HashMap<DateTime, Integer> days = new HashMap<DateTime, Integer>(); 
HashMap<DateTime, Integer> months = new HashMap<DateTime, Integer>(); 
10 for (LongWritable value: values) { 
DateTime timestamp = new DateTime(value.get!()); 
DateTime day = timestamp .withTimeAt9StartOofDay ( ) ; 
DateTime month = day,.withDayOfMonth(1) ; 
IncrementCount (days, day); 
15 IncrementCount (months, month); 
} 
for (Entry<DateTime, Integer> entry: days.entrySet()) 
context.write(key, formatEntry(entry, dayFormat)); 
- for (Entry<DateTime, Integer> entry: months.entrySet()) 
20 context.write(key, formatEntry(entry, monthFormat)); 
-+ 
-} 
这 段 代 码 首先 为 每 个 贡献 者 建立 两 个 HashMap: days (第 8 行 ) 和 months (第 9 行 )。 然 后 这 
历 与 这 个 页 献 者 相关 的 时 间 礁 ( values 是 时 间 礁 列表 )， 并 用 Joda-Time 库 的 辅助 方法 
withTimeAtStart0OfDay() 和 withDay0fMonth() 将 时 间 惟 转化 为 当天 的 午夜 时 间 和 当月 第 一 天 
的 午夜 时 间 ( 分 别 是 第 12 行 和 第 13 行 ) 接 下 来 可 以 用 一 个 简单 的 辅助 方法 对 days 和 months 的 相 
关 元 素 进行 递增 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulbutcher/WikipediaContributors.java 


private void incrementCount(HashMap<DateTime, Integer> counts, DateTime key) { 
Integer currentCount = counts.get(key); 
If (currentCount == null) 
counts.put(key, 1); 
else 
counts.put(key, currentCount + 1); 


GD http://www.joda.org/joda-time/ 
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最 后 当 两 个 HashMap 构 建 完成 , 遍历 这 两 个 map 就 可 以 生成 (至 少 有 一 条 贡献 记录 的 贡献 者 ) 
每 天 和 每 月 的 贡献 数 (第 17 到 20 行 )。 


这 里 有 一 点 需要 说 明 , Hadoop 任 务 的 输出 是 键 值 对 的 集合 , 但 本 例 中 需要 输出 三 个 值 一 一 页 
献 者 的 用 户 ID、 日 期 ( 某 月 或 某 天 ) 和 一 个 统计 值 。 可 以 通过 定义 一 个 复合 值 来 达到 目的 , 键 值 
对 的 键 是 贡献 者 的 用 户 ID ， 而 值 是 日 期 和 统计 值 构成 的 复合 值 。 不 过 由 于 本 例 非 党 简单 ,可 以 简 
单 地 用 一 个 字符 串 作 为 仁 ， 这 个 字符 串 是 通过 formatEntry() 定 义 的 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulbutcher/WikipediaContributors.java 


private Text formatEntry(Entry<DateTime, Integer> entry, 
DateTimeFormatter formatter) { 
return new Text(formatter.print(entry.getkey()) + "\t" + entry.getValue()) 
} 


下 面 是 这 个 任务 的 一 部 分 输出 : 


463 2001-11-24 1 
463 2002-02-14 1 
463 2001-11-26 6 
463 2001-10-01 1 
463 2002-02 1 
463 2001-10 1 
463 2001-11 7 


这 就 是 我 们 想 要 的 结果 ,但 输出 是 一 堆 文 本 文件 ， 不 是 很 方便 。 下 一 市 我 们 将 等 习 服 务 层 ， 
其 可 以 对 批 处 理 层 的 输出 进行 索引 和 合并 。 


\W 小 乔 爱 问 : 


过 。 是 否 可 以 增 量 地 生成 批 处 理 视图 ? 
到 目前 为 止 我 们 每 次 部 是 重新 生成 整个 批 处 理 视 图 。 这 是 可 行 的 , 但 也 做 了 一 些 不 必要 
的 工作 一 一 为 什么 不 用 上 次 更 新 后 的 新 数据 增 量 地 更 新 批 处 理 视图 呢 ? 


没有 什么 能 阻止 我 们 这 么 做 ， 而 且 这 是 一 个 非常 有 效 的 优化 手段 。 不 过 需要 提醒 的 是 ， 
我 们 不 能 严重 依赖 于 增 量 更 新 一 一 Lambda 架构 的 威力 大 部 分 来 自 于 我 们 可 以 在 必要 时 进行 
重建 。 所 以 只 要 值得 优化 就 可 以 去 实现 一 个 增 量 工法 ,不 过 增 量 工法 永远 不 能 代理 重建 视图 。 


完成 拼图 8 


批 处 理 层 不 能 单独 构成 瑞 到 端的 应 用 。 所 以 还 需要 完成 Lambda 框 淋 的 为 一 部 分 一 一 服务 层 。 
服务 层 
我 们 知 要 对 生成 的 批 处 理 视图 进行 沦 引 ,这 样 就 可 以 对 肥 引 进行 查询 了 。 为 外 ,还 需要 一 个 
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地 方 来 存放 程序 逻辑 〈 说 明 一 个 查询 该 如 何 合并 批 处 理 视 图 的 逻辑 )。 这 就 是 服务 层 的 任务 ， 如 


图 8-8 所 示 。 


批 处 理 视 图 


批 处 理 视图 
和 
和 4 


批 处 理 视图 


图 8-8 批 处 理 视 图 和 服务 层 
由 于 服务 层 与 本 书 主题 天 联 度 不 大 , 对 服务 层 的 实现 还 是 留 作家 庭 作 业 。 在 此 只 介绍 其 中 的 


一 部 分 一 数据库。 
虽然 我 们 可 以 利用 传统 数据 库 来 构建 服务 层 , 不 过 其 访问 数据 库 的 模式 与 传统 应 用 不 同 。 服 


务 层 不 需要 进行 随机 写 一 一 只 需要 在 更 新 批 处理 视 图 时 批量 更 新 数据 库 即 可 。 
有 一 类 数据 库 为 了 这 种 访问 模式 而 进行 了 优化 ， 其 中 最 有 名 的 是 ElephantDB "和 Voldemort”。 
涅 可 


至 此 , 利用 批 处 理 层 和 服务 层 , 我 们 得 到 了 一 个 数据 系统 ， 可 以 用 于 解决 今天 一 开始 提出 的 
问题 ， 如 图 8-9 所 示 。 

批 处 理 层 会 不 断 循环 运行 ,从 原始 数据 重新 生成 批 处 理 视 图 。 每 一 个 批 处 理 完成 时 ， 服 务 层 
都 会 更 新 数据 库 。 

由 于 只 处 理 不 可 变 的 原始 数据 , 批 处 理 层 可 以 轻松 地 被 并 行 化 。 原 始 数据 可 以 分 布 到 一 个 多 
机 集群 ， 在 可 接受 的 时 间 内 就 可 以 处 理 TB 级 别 的 数据 。 

原始 数据 的 不 变性 也 使 得 系统 可 以 承受 住 技 术 性 故障 和 人 为 故障 。 一 方面 , 原始 数据 更 容易 
进行 备份 ; 男 一 方面 ， 如 果 存 在 bug， 最 坏 的 情况 就 是 批 处 理 视图 是 暂时 错误 的 一 一 只 需要 修复 


(QD) https://github.com/nathanmarz/elephantdb 
@) http://www.project-voldemort.com/voldemort/ 
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该 bug 并 重新 计算 批 处 理 视图 即 可 。 
批 处 理 视图 
一 一 SN 
同和 
se 
> 和 a 
| 
六 
图 8-9 ”数据 系统 


而 且 ， 由 于 保存 了 所 有 原始 数据 ， 就 可 以 在 将 来 生成 任何 想 要 的 报表 或 进行 任何 分 析 。 


不 过 存在 看 一 个 严重 的 问题 一 一 延迟 。 如 末 批 处 理 层 害 要 一 个 小 时 的 运行 时 间 , 那 批 处 理 视 
图 就 比 最 新 的 数据 至 少 延 民 1 小 时 。 明 天 我 们 会 学 习 加 速 层 ， 来 解决 这 个 问题 。 


原始 数据 


第 二 天 总 结 
第 二 大 的 等 习 结束 了 。 第 三 天 我 们 将 学习 加 速 层 ， 并 完成 整个 Lambda 架 构 。 
第 二 天 我 们 学 到 了 什么 


于 县 可 以 分 为 原始 数据 和 生生 信 息 。 原 始 数据 是 永恒 的 黄 相 , 而 且 是 不 变 的 。 基 于 这 个 特性 ， 
利用 Lambda 染 构 的 批 处 理 屋 ， 可 以 创建 具有 以 下 特性 的 系统 : 


口 高 度 并 行 化 ， 可 以 处 理 TB 级 别 的 数据 ; 

口 人 简单， 容易 创建 日 不 易 出 错 ; 

口 对 技术 性 故障 和 人 为 故障 进行 容错 ; 

口 支持 对 日 常数 据 的 操作 ， 也 支持 对 历史 数据 生成 报表 和 进行 分 析 。 


批 处 理 层 最 大 的 缺点 在 于 其 有 延迟 ，Lambda 架 构 利 用 加 速 层 来 解决 这 一 问题 。 
第 二 天 自习 

查找 

口 本 章 中 介绍 的 方法 并 不 是 利用 Hadoop 建 立 数据 系统 的 唯一 方法 一 一 其 他 的 方法 有 HBase、 
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Pig 和 Hive。 这 三 种 方法 更 类 似 于 传统 数据 系统 。 选 择 其 中 一 种 ， 与 Lambda 涤 构 的 批 处 理 
层 进 行 比 较 。 每 种 方法 分 别 适 合 什么 场景 ? 

实践 

口 创建 一 个 服务 层 ， 来 完善 今天 所 学 习 的 系统 。 这 个 服务 层 能 够 接受 批 处 理 层 的 输出 ， 保 
存 到 数据 库 中 ， 并 可 以 查询 一 段 时 间 内 某 用 户 的 贡献 数 。 可 以 使 用 传统 数据 库 或 
ElephantDB 来 建立 服务 层 。 

口 扩展 上 面 的 例子 ， 增 量 生 成 批 处 理 视 图 一 一 为 了 达到 目的 ，Hadoop 集 群 需 要 访问 服务 层 
的 数据 库 。 这 个 方案 效率 如 何 ?” 花 费 的 代价 是 否 值得 ? 增 量 生成 批 处 理 视图 适用 于 何 种 
应 用 ? 不 适用 于 何 种 应 用 ? 


8.4 第 三 天 : 加 速 技 


在 昨天 的 学 习 中 , 我 们 了 解 到 Lambda 以 构 的 批 处 理 层 能 解决 传统 数据 系统 梧 到 的 在 干 问题 ， 
但 代价 是 较 高 的 延迟 。 加 速 层 就 是 用 来 解决 这 个 问题 的 。 图 8-10 展 示 了 加 速 层 与 批 处 理 层 如 何 协 


同 工 作 。 
原始 数据 


| 实时 视图 


图 8-10 ”Lambda 架 构 
有 新 数据 产生 时 ， 一 方面 将 其 请 加 到 原始 数据 中 ， 这 样 批 处 理 层 就 可 以 进行 处 理 ; 男 一 方 
面 将 其 传 给 加 速 层 。 加 速 层 会 生成 实时 视图 ， 实 时 视图 会 和 批 处 理 视 图 合并 来 满足 对 最 新 数据 
的 查询 。 
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实时 视图 仅 包含 最 后 一 次 生成 批 处 理 视 图 后 产生 的 原始 数据 所 对 应 的 衍生 信息 , 当 这 部 分 数 
据 被 批 处 理 层 处 理 后 ， 该 实时 视图 将 被 弃 用 。 


现在 我 们 用 Stormy 来 生成 加 速 层 。 


设计 加 速 层 

不 同 的 应 用 对 实时 性 的 要 求 不 同一 一 有 一 些 要 求 新 数据 在 秒 级 别 可 用 , 有 一 些 要 求 新 数据 在 
肥 秒 级 别 可 用 。 无 论 你 的 应 用 有 什么 性 能 要 求 ， 只 使 用 批 处 理 层 很 可 能 无 法 满足 。 

由 于 加 速 层 要 求 使 用 增 量 算法 ,因此 比 起 构建 批 处 理 层 , 构建 加 速 层 本 质 上 要 更 困难 。 这 意 
味 看 加 速 层 不 能 只 处 理 原始 数据 , 也 就 至 受 不 到 原始 数据 的 完美 特性 了 。 我 们 必须 重新 面 对 传 统 
效 据 库 的 特性 : 随机 写 、 复 琳 的 锁 机 制 和 事务 机 制 等 。 

从 好 的 方面 来 看 ,加 速 层 只 需要 处 理 一 部 分 数据 ,网 是 那 部 分 还 未 被 批 处 理 层 处 理 的 数据 ( 通 
稼 是 几 个 小 时 的 数据 ) 一 旦 批 处 理 层 赶 上 进度 ， 旧 的 数据 就 会 从 加 速 层 移 除 。 

同步 还 是 寞 步 ? 

最 容易 想到 的 构建 加 速 层 的 方法 就 是 模仿 传统 的 同步 数据 库 。 其 实 可 以 将 传统 数据 库 看 作 是 
Lambda 困 构 的 一 种 退化 特例 〈 不 使 用 批 处 理 层 )， 如 图 8-11 所 示 。 


图 8-11 “传统 数据 库 8 


在 这 种 模型 中 ,客户 端 直 接 和 数据 库 通 信 ， 并 在 数据 库 进行 更 新 操作 时 进行 阻塞 。 这 种 模型 
非常 合理 , 在 某 些 场景 下 这 是 唯一 能 满足 特定 第 求 的 方法 。 不 过 在 为 一 些 场景 中 ， 卉 步 染 构 更 合 


GD http://storm.incubator.apache.org 
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适 一 些 ， 如 图 8-12 所 示 。 


队列 
0 


流 处 理 器 站 所 应 


图 8-12 ”传统 数据 库 的 卉 步 架 构 


在 这 种 模型 中 ， 客 户 端 将 更 新 操作 添加 到 队列 中 (可 以 用 Kafka 或 Kestrel 等 实现 队列 )， 这 
一 步骤 是 无 阻塞 的 。 流 处 理 融 将 串 行 地 处 理 这 些 更 新 操作 并 对 数据 库 进 行 更 新 。 


用 队列 将 客 尸 闫 和 数据 库 进 行 解 稍 ,会 使 更 新 操作 之 间 的 交互 变 得 更 加 复杂 。 不 过 ,根据 应 
用 的 特性 ， 如 采 可 以 接受 异步 的 方案 ， 也 会 获得 非 第 显著 的 好 处: 


口 客户 端 不 会 阻塞 ， 所 以 少量 的 客户 端 就 可 以 处 理 大 量 的 数据 ， 从 而 提高 了 行 吐 量 ; 

口 业务 压力 激增 会 导致 客户 端 或 数据 库 超 载 ， 也 会 导致 同步 系统 超时 或 丢失 一 些 更 新 。 而 

异步 系统 则 不 同 ， 只 需要 将 未 处 理 的 更 新 操作 保持 在 队列 中 ， 在 业务 压力 恢复 稳定 后 可 
逐渐 赶 上 进度 ; 


口 稍 后 我 们 将 了 解 到 : 流 处 理 益 可 以 被 并 行 化 ， 也 可 以 在 多 台 计 算 机 上 进行 分 布 式 计算 ， 
既 改 善 了 性 能 又 可 以 容错 。 


出 于 上 述 原因 ,再 加 上 同步 的 加 速 层 实 现 起 来 很 是 无 趣 ，, 并 且 本 书 应 关注 于 并 行 和 并 发 ， 
此 本 书 将 不 会 深入 讨论 同步 方案 
如 何 让 数据 过 期 


在 实现 异步 方案 之 前 ， 需 要 先 来 学 习 如 何 让 数据 过 期 。 


假设 批 处 理 层 需要 两 个 小 时 处 理 数 据 , 那 很 容易 就 会 认为 加 速 层 需要 保留 这 两 个 小 时 以 内 的 
数据 。 实 际 上 加 速 层 需要 保留 两 倍 的 数据 ， 如 图 8-13 所 示 。 
假设 第 V- 1 次 批 处 理 刚 刚 结 


第 N 次 批 处 理 正 要 开始 。 如 采 每 次 批 处 理 需要 运行 两 个 小 时 ， 
GD http://kafka.apache.org 
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这 意味 春 批 处 理 视 图 会 落后 两 个 小 时 。 因 此 加 速 层 震 要 保持 这 落后 的 两 个 小 时 的 数据 , 还 要 保持 
批 处 理 层 运行 的 这 两 个 小 时 中 所 有 的 新 数据 ， 总 共 需 要 保持 四 个 小 时 的 数据 。 


时 间 第 入 次 \ 理 层 已 处 理 好 
第 N_1 次 批 处 理 守 让 训 当前 数据 “| 轩 楷 处 理 层 已 处 理 的 数据 
| 国 央 | 批 处 理 层 正 在 处 理 的 数据 
[| 批 处 理 层 未 处 理 的 数据 
加 速 层 
二 所 -TY 第 N+1 次 
第 N 次 提 处 理 批 处 理 ”当前 数据 


| 


过 期 数据 加 速 层 
图 8-13 ”在 加 速 层 中 让 数据 过 期 


当 第 N 次 批 处 理 结束 时 ， 需 要 让 最 早 两 个 小 时 的 数据 过 期 但 仍 保存 其 后 两 个 小 时 的 数据 。 
有 多 种 方法 可 以 达到 目的 ,不 过 最 容易 的 就 是 同时 维护 两 个 加 速 层 ， 并 区 特使 用 它们 ， 如 图 8-14 
所 示 O 


时 间 当前 数据 
| 
加 速 层 A (正在 使 用 ) | 


加 速 层 A | 
加 速 层 B 【正在 使 用 ) | 


图 8-14 ”交替 使 用 加 速 层 8 


当 一 次 批 处 理 完成 时 , 批 处 理 视 图 中 的 新 数据 就 变 得 可 用 , 就 可 以 将 当前 用 于 处 理 请 求 的 加 
速 层 切 换 到 为 一 个 加 速 层 上 。 切换 后 困 置 的 加 速 层 会 清理 其 数据 库 , 并 在 新 的 批 处 理 开 始 时 重新 
建立 新 的 视图 。 


2 第 8 章 Lambda 架构 


这 种 做 法 的 好 处 是 , 一 方面 不 需要 费心 识别 加 速 层 的 数据 库 中 哪些 数据 需要 被 过 期 清理 , 为 
一 方面 由 于 每 次 切换 后 加 速 层 都 是 从 一 个 空 数据 库 开始 运行 ， 因 此 达到 了 更 好 的 性 能 和 可 徘 性 。 
当然 为 此 付出 的 代价 是 必须 要 维护 两 份 加 速 层 的 数据 并 且 消 耗 两 份 计算 资源 , 不 过 考虑 到 加 速 层 
仅仅 处 理 总 数据 量 中 很 小 的 一 部 分 ， 因 此 付出 的 代价 相对 不 那么 大 。 


Storm 系 统 
剩 下 的 时 间 我 们 来 学 习 用 Storm 系 统 实现 异步 的 加 速 屋 。Storm 是 个 很 大 的 话题 ， 本 书 只 能 浅 
党 辑 止 一 一 如 需 深 入 了 解 请 参见 Storm 文 档 "。 


Hadoop 主 要 负责 批 处 理 ，Storm 主 要 负责 实时 处 理 一 一 其 能 方便 地 使 用 多 台 计 算 机 进行 分 布 
式 计 算 ， 以 改善 性 能 和 容错 性 。 


Spout、Bolt 和 Topology 


Storm 系 统 处 理 的 是 元 组 (tuple ) 的 流 。Storm 的 元 组 类 似 于 之 前 我 们 在 第 5 章 看 到 的 actor 模 
型 的 元 组 ， 但 不 同 于 Elixir 的 元 组 ，Storm 元 组 的 元 素 是 有 名 字 的 。 


元 组 由 spout ( 出 水 管 ) 组 件 创 建 ， 并 由 bolt ( 螺栓 ) 组 件 进 行 处 理 ，bolt 也 会 输出 元 组 。 用 
流 将 spout 和 bolt 连 接 在 一 起 , 就 形成 了 topology( 拓扑 结构 ) 图 8-15 所 示 的 是 一 个 简单 的 topology， 
由 一 个 spout 生 成 元 组 并 由 一 系列 bolt 构 成 的 流水 线 进行 处 理 。 


过 [人 


图 8-15 一 个 简单 的 topology 


topology 也 可 以 很 复杂 一 一 bolt 可 以 消费 多 个 流 ， 而 一 个 流 也 可 以 被 多 个 bolt 消 费 ， 构 成 一 个 
有 向 无 环 图 ( 或 称 DAG )， 如 图 8-16 所 示 。 


SS 


图 8-16 一 个 复杂 的 topology 


GD http://storm.incubator.apache.org/documentation/Home.html 
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不 过 就 算是 最 简单 的 那 种 流水 线 式 的 topology， 也 要 比 看 上 去 的 复杂 很 多 ， 为 spout 和 bolt 
都 是 并 行 化 和 分 布 式 的 。 

Worker 

spout 和 bolt 不 仅 相互 之 间 是 并 行 的 ,而 且 其 内 部 也 都 是 并 行 的 每 一 个 个 体内 部 都 是 由 很 


多 worker 实 现 的 。 如 图 8-17 所 示 ， 这 个 简单 的 流水 线 式 topology 中 ， 每 个 spout 和 bolt 内 部 都 有 3 
个 
广 worker。 


网 8-17 spout 和 bolt 的 worker 


如 图 8-17 所 示 , 流水 线 上 每 个 节点 的 worker 都 可 以 回 下 游 点 中 任意 一 个 worker 发 送 元 组 。 在 
稍 后 讨论 到 数据 流 分 发 (Stream Grouping ) 时 我 们 会 学 习 如 何 控制 使 用 哪 一 个 worker 来 接收 元 组 。 

wotker 还 是 分 布 式 的 一 一 如 果 使 用 有 4 个 节点 的 集群 ， 那 spout 的 worker 可 能 运行 在 节点 1、 贡 
点 2 和 和 点 3 上 ， 第 一 个 bolt 的 worker 可 能 运行 在 节点 2 和 蔬 点 4 上 (其 中 两 个 在 和 点 2， 一 个 在 节点 
| 

Storm 的 优美 之 处 在 于 我 们 不 需要 特别 关注 于 分 布 式 一 一 只 需要 定义 好 topology，Storm 就 会 
问 节 点 分 配 好 worker， 并 确保 发 送 的 元 组 可 以 送 达 。 


容错 性 
将 一 个 spout 或 bolt 的 多 个 worker 分 布 在 多 台 计 算 机 上 的 主要 原因 是 容错 性 。 如 果 集 群 中 的 某 
一 台 计 算 机 发 生 故 障 ,topology 可 以 将 元 组 分 发 给 仍 存活 的 计算 机 ,这 样 topology 就 可 以 继续 运行 。 
storm 会 监视 元 组 之 间 的 依赖 一 如 果 革 一 个 元 组 没 能 完成 , storm 会 将 其 依赖 的 spout 元 组 置 8 
为 失败 并 进行 重 试 。 这 也 就 是 说 Storm 上 默认 使 用 的 是 “至 少 会 执行 一 次 ”的 处 理 策略 。 应 用 必须 
知道 这 个 事实 : 元 组 可 能 会 被 重 试 ， 直 到 其 结果 正确 。 
折 够 了 理论 ， 我 们 来 实践 一 下 ， 为 之 前 的 Wikipedia 贡 献 统计 程序 用 Storm 实 现 一 个 简单 的 加 
速 层 。 
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\/ 小 乔 爱 问 : 


过 。 如 果 我 的 应 用 不 能 进行 重 试 呢 ? 


Storm 默认 的 策略 是 “至 少 会 执行 一 次 ” ,这 一 策略 适用 于 大 部 分 应 用 , 但 有 一 些 应 用 需 
要 更 强 的 约束 ， 即 “只 会 执行 一 次 ”。 
Storm 通过 Trident AP 可 以 支持 “只 会 执行 一 次 ”的 策略 ， 本 书 将 不 会 介绍 相关 内 容 。 


a. http://storm.incubator.apache.org/documentation/Trident-tutorial.html 


用 Storm 统 计 贡 献 
图 8-18 所 示 的 是 一 种 加 速 层 的 topology。 


读 取 日 志 


图 8-18 ”加 速 层 的 topology 


站 和 完 使 用 一 个 spout 来 读 取 页 献 者 的 日 志 ， 并 将 其 转换 成 一 个 元 组 流 。 然 后 由 一 个 bolt 来 处 理 
元 组 流 ， 对 日 志 条 上 日 进行 解析 ， 并 输出 一 个 解析 后 的 流 。 最 后 再 由 为 一 个 bolt 处 理 这 个 流 ， 并 对 


保存 实时 视图 的 数据 库 进行 更 新 。 


不 过 出 于 以 下 原因 , 我 们 会 构建 一 个 不 太一 样 的 topology: 首先 , 我 们 并 不 直接 访问 Wikipedia 
贡献 者 的 日 志 ; 其 次 ， 我 们 并 不 想 关 心 更 新 数据 库 的 细 和 (我 们 关心 的 是 并 行 和 并 发 )。 图 8-19 


是 我 们 设计 的 topology。 


图 8-19 改进 后 的 加 速 层 的 topology 


这 个 topology 首 先 使 用 一 个 spout 来 模拟 Wikipedia 的 贡献 者 feed， 然 后 串联 一 个 解析 需 ， 最 后 
记录 内 存 中 的 实时 视图 。 这 个 方案 不 适用 于 产品 环境 ， 但 非常 适用 于 学 习 Storm。 


模拟 贡献 日 志 
下 面 的 代码 实现 了 一 个 spout， 它 会 随机 产生 日 志 来 模拟 feed: 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/paulbutcher/RandomContributorSpout.java 


Line 1 public class RandomContributorSpout extends BaseRichSpout { 


private static final Random rand = new Random(); 
- private static final DateTimeFormatter isoFormat = 
5 ISODateTimeFormat.dateTimeNoMillis(); 


private SpoutOutputCollector coLLector ; 
private int contributionId = 10000; 


10 public void open(Map conf, TopologyContext context, 
SpoutOutputCollector collector) { 


this.collector = COLLector， 


} 


public void declareOutputFields (OutputFieldsDeclarer declarer) { 
declarer.declare(new Fields("line")); 


} 


20 public void nextTuple() { 
Utils.sleep(rand.nextInt(100)); 
++ContributionId ， 
String Line = isoFormat.print(DateTime.now()) + " " + contributionId + " "+ 
rand .nextInt(10000) + " " + "dummyusername"; 
25 collector.emit(new Values (line)); 
= 
> 
这 段 代码 创建 了 一 个 spout， 其 继承 了 BaseRichSpout (第 1 行 )。Storm 会 在 初始 化 时 调用 
open() 方 法 (第 10 行 ) 一 一 在 open 方 法 中 只 是 保存 了 Spout0utputCollector 的 引用 ， 以 便 之 
后 将 输出 发 给 Spout0utputCollector。Storm 在 初始 化 时 还 会 调用 declare0utputFields() 方 


法 (第 16 行 )， 以 便 了 解 spout 会 产生 的 元 组 的 结构 一 一 本 例 中 ， 元 组 只 有 一 个 名 为 Line 的 字段 。 

nextTuple() (第 20 行 ) 承担 了 大 部 分 工作 。 这 个 子 数 首先 会 随机 睡眠 100 多 有 秒 ， 然 后 创 
建 一 个 字符 串 ， 它 的 格式 如 8.3 节 的 “贡献 者 日 志 ” 部 分 所 述 ， 最 后 调用 coLLector.emit () 来 输 
出 字符 串 。 

产生 的 日 志 会 被 传 给 解析 需 bolt ( 将 在 下 一 节 中 介绍 )。 

解析 日 志 


解析 般 bolt 接 受 代表 日 志 行 的 元 组 ， 并 进行 解析 ， 再 输出 含有 四 个 字段 的 元 组 ， 每 个 字段 代 
表 了 日 志 行 的 一 部 分 : 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/paulbutcher/ContributionParser.java 


Line1 class ContributionParser extends BaseBasicBolt { 
2 public void declareOutputFields (OutputFieldsDeclarer declarer) { 
3 declarer.declare(new Fields("timestamp", "id", "contributorId", "username")); 


4 } 
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5 public void execute(Tuple tuple, BasicOutputCollector collector) { 

6 Contribution contribution = new Contribution(tuple.getString(0)); 
7 collector.emit(new Values(contribution.timestamp, contribution.id, 
8 contribution.contributorId, contribution.username)); 

9 

10 } 


这 段 代 码 创 建 一 个 了 bolt， 其 继承 了 BaseBasicBolt (第 1 行 )。 与 创建 spout 时 一 样 ， 还 需要 
实现 declare0utputFields() 方 法 (第 2 行 )， 以 便 让 Storm 了 解 到 bolt 输 出 元 组 的 结构 一 一 本 例 
中 ， 输 出 元 组 包含 4 个 字段 ， 分 别 是 timestamp、id、contributorId 和 username。 


这 次 承担 了 大 部 分 工作 的 是 execute() (第 5 行 )。 本 例 与 批 处 理 层 一 样 ， 使 用 了 Contri 
bution 类 来 解析 日 志 行 ， 再 调用 contributor,.emit() 来 输出 元 组 。 


解析 得 到 的 元 组 会 被 传 给 为 一 个 bolt, 以 记录 每 个 页 献 者 的 页 献 数 ,下 一 市 我 们 会 学 习 这 个 bolt。 
记录 页 献 数 


最 后 一 个 bolt 维 护 了 一 个 记录 着 每 个 贡献 者 的 页 献 记 录 的 倘 单 内 存 数据 库 〈 其实 是 一 个 map， 
其 键 是 页 献 者 ID ， 其 值 是 贡献 时 间 戳 的 集合 ): 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/paulbutcher/ContributionRecord.java 


Line1 class ContributionRecord extends BaseBasicBolt { 
private static final HashMap<Integer, HashSet<Long>> timestamps = 
new HashMap<Integer, HashSet<Long>>(); 


5 public void declareOutputFields (OutputFieldsDeclarer declarer) { 

-0 

public void execute(Tuple tuple, BasicOutputCollector collector) { 
addTimestamp (tuple.getIinteger(2), tuple.getLong(0)); 

} 


private void addTimestamp(int contributorId, long timestamp) { 
HashSet<Long> contributorTimestamps = timestamps.get(contributorId); 
if (contributorTimestamps == null) { 
contributorTimestamps = new HashSet<Long>(); 
15 timestamps.put(contributorId, contributorTimestamps); 
} 
contributorTimestamps.add(timestamp); 
0 
a 
本 例 中 并 不 产生 任何 输出 , 所 以 decLare0utputFietLds() 函数 是 空 的 (第 $ 行 ), execute() 
(第 7 行 ) 方法 只 是 从 输入 中 提取 相关 信息 ， 并 传 给 addTimestamp() 洱 数 ，addTimestamp() 负 


责问 贡献 者 相应 的 集合 中 添加 时 间 惟 。 
现在 来 创建 一 个 topology， 将 已 有 的 spout 和 bolt 集 成 起 来 。 


小 乔 爱 问 : 
过 “为 什么 要 记录 时 间 戳 的 集合 ? 


在 8.3 刷 中 我 们 看 到 批 处 理 视图 仅 记 录 了 每 天 和 每 月 的 贡献 记录 数 。 那 么 在 实时 视图 中 
为 什么 要 记录 完整 的 时 间 稚 呢 ? 

如 之 前 讨论 过 的 ,实时 视图 只 需要 记录 几 个 小 时 的 数据 ,所 以 记录 和 查询 完整 的 时 间 稚 
的 代价 相对 较 低 。 但 更 重要 的 原因 是 : 向 集合 中 增加 记录 的 操作 是 逢 等 的 。 

之 前 学 习 过 ，Storm 默认 的 策略 是 “至 少 会 执行 一 次 ,那么 元 组 可 能 会 被 重 试 。 所 谓 需 
等 操作 ， 就 是 无 论 操作 执行 多 少 次 结果 都 是 一 样 的 ， 这 正 可 以 用 于 处 理 元 组 被 重 试 的 情况 。 


构建 topology 


我 们 对 ContributionRecord 可 能 会 有 些 担心 已 经 知道 bolt 会 包括 多 个 worker ,那么 如 何 
来 保证 一 个 贡献 者 只 会 对 应 一 个 时 间 戳 集合 呢 ? 要 解决 这 个 问题 就 需要 先 了 解 如 何 构建 
topology。 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/paulbutcher/WikiContributorsTopology.java 
Line 1 public class WikiContributorsTopology { 


public static void main(String[] args) throws Exception { 
5 TopologyBuilder builder = new TopologyBuilder(); 
builder.setSpout("contribution spout", new RandomContributorSpout(), 4); 


- builder.setBolt("contribution parser", new ContributionParser(), 4). 
10 shuffleGrouping("contribution spout"); 


builder.setBolt("contribution recorder", new ContributionRecord(), 4). 
fieldsGrouping("contribution parser", new Fields("contributorId")); 


15 LocalCluster cluster = new LocalCluster(); 
Config conf = new Config(); 
cluster.submitTopology("wiki-contributors", conf, builder.createTopology()); 


- Thread.sleep(10000); 
20 
cluster.shutdown(); 

= 
= } 
首先 ， 这 段 代码 创建 一 个 TopologyBuilder (第 5 行 )， 并 调用 setSpout() (第 7 行 ) 来 添加 
一 个 spout 实 例 。 其 第 二 个 参数 是 一 个 并 行 度 的 参考 ( hint )， 这 只 是 个 参考 而 不 是 强制 命令 ,但 
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为 了 理解 简单 ,可 以 认为 这 个 参数 是 一 个 强制 命令 , Storm 会 根据 这 个 参数 为 spout 创 建 4 个 worker。 
如 果 要 详细 了 人 解 如 何 控 制 Storm 的 并 行 ， 推 荐 阅读 “What Makes a Running Topology: Worker 
Processes, Executors and Tasks” *, 

接 下 来 ， 这 上 段 代 人 码 调 用 setBolt() (第 9 行 ) 来 添加 ContributionParser 的 实例 。 最后， 这 
段 代码 调用 shuffleGrouping(), 其 参数 与 设置 spout 时 的 字符 串 一 样 , 这 样 Storm 就 知道 这 个 bolt 
需要 从 spout 中 读 取 输入 。 这 里 我 们 还 需要 学 习 数 据 流 分 发 。 

数据 流 分 发 

Storm 的 数据 流 分 发 策略 主要 解决 了 哪 一 个 worker 接 受 哪 一 个 元 组 的 问题 解析 器 bolt 所 使 
用 的 随机 分 发 《shuffle grouping ) 末 略 是 最 简单 的 一 一 只 是 人 简单 地 将 元 组 随机 分 发 给 某 一 个 
worker, 

记录 贡献 数 的 bolt 使 用 的 是 按 字 段 分 发 (fields grouping ) 策略 (第 12 行 )， 这 个 策略 保证 某 些 
字段 (本 例 中 是 contributorId 字 段 ) 的 值 相同 的 元 组 会 被 分 发 给 同一 个 worker。 回 到 上 一 闻 开 
始 的 问题 ， 我 们 也 是 通过 这 个 宋 略 来 确保 一 个 贡献 者 只 对 应 一 个 时 间 戳 集合 的 。 

本 地 集群 

设置 Storm 集 群 并 不 复 洒 ， 但 这 超出 了 本 书 的 范围 。 更 翡 剧 的 是 ， 由 于 这 是 一 门 新 技术 ， 还 
没有 可 以 直接 利用 的 现成 的 Storm 和 集群 服务 。 所 以 需要 创建 了 一 个 LocalCluster (第 17 行 ) 在 本 
地 运行 我 们 的 topology。 

本 例 中 我 们 让 topology 运 行 了 10 秒 后 调用 cLuster,.shutdown() 来 关闭 它 。 然 而 在 产品 
环境 中 ， 当 批 处 理 层 赶 上 了 进度 ,已 经 不 再 需要 当前 的 实时 视图 时 ， 就 需要 用 其 他 方法 来 关 
奢 topology。 


第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 也 完成 了 对 Lambda 架 构 的 加 速 层 的 讨论 。 

第 三 天 我 们 学 到 了 什么 

加 速 层 创建 的 实时 视图 包含 了 最 后 一 次 生成 批 处 理 视图 后 产生 的 数据 ， 这 样 就 完善 了 
Lambda 架 构 。 加 速 层 可 以 是 同步 的 或 异步 的 一 一 Storm 是 一 种 构建 异步 加 速 层 的 方法 。 


口 Storm 实 时 地 处 理 元 组 流 。 元 组 由 spout 创 建 、 由 bolt 处 理 、 由 topology 调 度 。 
口 Spout 和 bolt 都 包含 多 个 worker， 这 些 worker 并 行 执行 ， 且 分 布 在 集群 的 多 个 节点 上 。 
口 Storm 默 认 使 用 “至 少 会 执行 一 次 ”的 策略 bolt 需 要 处 理 元 组 被 重 试 的 情况 。 


GD http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html 


第 三 天 自习 
查找 


口 Trident 是 建立 在 Storm 基 础 上 的 高 级 API。 类似 于 Storm 的 “至 少 会 执行 一 次 ”的 默认 策略 ， 
Trident 提 供 了 “只 会 执行 一 次 ”的 策略 。Trident 适 用 于 什么 场景 ? Storm 的 低级 API 适 用 于 
什么 场景 ? 

口 除了 随机 分 发 和 按 字段 分 发 ，Storm 还 提供 了 哪些 数据 流 分 发 策略 ? 

实践 

口 创建 一 个 真正 的 Storm 集 群 ， 并 将 今天 本 地 运行 的 例子 部 署 在 上 面 。 

口 创 建 一 个 bolt 和 一 个 topology ，bolt 负 责 维 护 每 分 钟 的 贡献 总 数 ，topology 负 责 将 
ContributionParser 的 输出 分 发 给 ContributionRecord 和 我 们 创建 的 bolt。 

口 今天 的 例子 使 用 了 BaseBasicBolt， 它 会 日 动 地 对 元 组 进行 确认 。 请 改 用 BaseRichBolt 一 一 
你 需要 显 式 对 元 组 进行 确认 。 创 建 一 个 bolt， 如 何在 确认 之 前 处 理 多 个 元 组 ? 


8.5 复习 
Lambda 架 构 将 我 们 已 经 学 过 的 一 些 内 容 融 合 在 了 一 起 : 


口 原始 数据 是 永恒 的 真相 ， 这 让 我 们 想到 Clojure 分 离 标识 与 状态 的 做 法 ; 

口 Hadoop 并 行 化 解决 问题 的 方法 是 先 将 问题 切 分 并 映射 到 一 个 数据 结构 上 ， 上 再 进行 化 简 操 
作 。 这 非常 类 似 于 并 行 子 数 编程 的 做 法 ; 

口 类 似 于 actor 模 型 ，Lambda 架 构 将 处 理 过 程 分 布 到 集群 上 ， 这 样 既 改 进 了 性 能 ， 叉 可 以 对 
便 件 故 障 进行 容错 ; 

口 Storm 的 元 组 流 类 似 于 actor 模 型 和 CSP 模 型 的 消息 机 制 。 


优 扣 


Lambda 淋 构 主 要 用 于 解决 大 规模 数据 的 问题 一 一 这 些 问题 是 传统 数据 处 理 染 构 难 以 应 对 
的 。Lambda 架 构 非 常 适合 于 报表 和 分 析 一 一 以 前 我 们 会 使 用 数据 仓库 来 进行 这 类 工作 。 


缺点 


Lambda 架 构 最 大 的 优点 一 擅长 处 理 大 规模 数据 一 这 也 正 是 它 的 缺点 -除非 你 的 数据 达到 
数 太 字 节 甚至 更 多 ， 否 则 其 成 本 〈 计算 成 本 和 智力 成 本 ) 将 高 于 收益 。 


蔡 代 方 案 


Lambda 架 构 并 没有 与 MapReduce 绑 定 一 一 批 处 理 层 可 以 用 其 他 的 分 布 式 批 处 理 系统 来 实现 。 


230 第 8 章 Lambda 架构 


基于 这 一 点 ，Apache Spark" 就 是 一 个 很 有 意思 的 方案 。Spatk 是 一 个 集群 计算 框架 ， 它 实现 
了 DAG 执 行 引 警 ， 可 以 使 用 很 多 比 MapReduce 用 起 来 更 自然 的 算法 (尤其 是 图 算法 )。 它 也 提供 
了 与 流 相 关 的 AP ， 这 意味 着 批 处 理 层 和 加 速 层 都 可 以 用 Spark 实 现 。 


士 、 
结语 


由 于 包含 前 几 间 介绍 过 的 很 多 技术 ,Lambda 架 构 很 适合 用 来 作为 本 书 压 轴 的 主题 ,用 Lambda 
架构 演示 “如 何 利 用 并 行 和 并 发 技术 解决 一 些 环 手 问题 ”是 非常 合适 的 。 


最 后 一 草 ， 我 们 将 重新 审视 过 去 7 周 的 内 容 ， 以 及 本 书 已 经 涉及 的 几 大 主题 。 


GD http://spark.apache.org 
@) http://spark.apache.org/streaming/ 


圆满 结束 


茶 喜 你 完成 了 七 周 的 学 习 ! 


从 由 数据 并 行 GPU 提供 的 细 粒 度 并 行 ， 到 大 规模 的 MapReduce 集 群 ， 我 们 讨论 的 主题 涉及 方 
方面 面 。 一 路 走 来 ,我 们 不 仪 学 习 了 如 何 用 并 行 和 并 发 来 挖掘 现代 多 核 CPU 的 潜力 ,而且 学 到 了 
许多 比 传统 串 行 代码 更 优秀 的 特性 。 


口 我 们 学 习 了 Elixir .Hadoop 和 Storm, 这 几 种 系统 都 可 以 部 署 在 多 机 集群 上 进行 分 布 式 计算 ， 
从 而 创建 出 可 以 对 便 件 故障 进行 容错 的 解决 方案 。 

口 通过 core.async， 学 习 了 如 何 利 用 并 发 来 解决 事件 处 理 时 会 碰 到 的 “回调 困境 ”。 

口 在 函数 式 编 程 的 章节 中 ， 学 习 了 如 何 让 并 发 方案 比 等 价 的 串 行 方案 更 简洁 易 读 。 

现在 来 看 看 这 预示 着 怎样 的 未 来 。 


9.1 君 欲 何 往 


二 十 儿 年 前 , 我 曾 预 言 并 行 技 术 和 分 布 式 编程 将 成 为 主流 ,如 今 的 现实 表明 我 不 是 个 成 功 的 
预言 家 。 尽 管 如 此 ， 现 在 我 仍然 相信 并 行 和 并 发 预示 春 编程 的 未 来 。 


未 来 是 “不 变 的 


在 我 看 来 ， 有 一 个 话题 散发 着 次 眼 的 光芒 一 一 和 过 去 相 比 ， 不 变性 在 代码 中 的 应 用 会 越 来 
越 广泛 。 与 不 变性 关系 最 大 的 是 函数 式 编程 一 在 函数 式 编程 中 ， 避 免 使 用 可 变 状 态 会 使 得 并 
行 和 并 发 更 为 简单 。 不 过 为 了 获得 不 变性 ， 不 一 定 非 要 使 用 函数 式 编程 。 在 过 去 的 几 周 中 我 们 
已 经 学 过 : 
口 虽然 Clojure 不 是 一 门 纯粹 的 也 数 式 语言 ， 但 其 核心 数据 结构 是 持久 和 且 不 变 的 (参见 4.2 节 
的 “持久 数据 结构 ”部 分 ) 持久 数据 结构 可 以 将 标识 与 状态 分 离 ， 这 样 Clojure 就 可 以 支 
寺 可 变 引 用 ， 并 且 避 免 使 用 可 变 状 态 带 来 的 问题 ; 
加 ee e 构 的 底层 代码 通常 不 是 函数 式 代码 ， 不 过 其 核心 思想 的 确 是 不 变性 一 一 批 9 
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处 理 层 规定 其 原始 数据 是 永恒 真实 的 〈 不 可 变 的 )， 所 以 我 们 可 以 将 数据 安全 地 分 布 到 集 
群 中 ， 对 数据 进行 并 行 处 理 ， 且 能 对 技术 故障 和 人 为 故障 进行 容错 ; 

D 运行 在 Erlang 虚 拟 机 上 的 Elixir 有 着 晶 越 性 能 和 可 徘 性 ， 虽然 它 不 是 一 门 纯粹 的 函数 式 语 
言 ， 但 其 优 开 表现 的 关键 是 它 不 适用 可 变 变 量 ; 

口 基于 actor 模 型 或 CSP 模 型 的 应 用 所 发 送 的 消息 是 不 可 变 的; 

口 在 使 用 线程 与 锁 和 模型 时 ， 不 变性 也 非常 有 用 一 一 不 可 变 的 数据 越 多 ， 需 要 使 用 的 锁 就 越 
少 ， 我 们 就 越 不 用 担心 内 存 可 见 性 市 来 的 问题 。 


显而易见 ,虽然 我 们 可 能 不 使 用 郴 数 式 语言 , 但 所 涉及 的 框 染 和 代码 越 来 越 多 地 受到 函数 式 
规则 的 影响 。 这 是 个 好 消 县 一 一 不 仅 让 我 们 更 容易 地 使 用 并 行 和 并 发 ,也 让 代码 变 得 更 加 人 简洁 多 


慌 且 可 靠 。 
未 来 是 分 布 式 的 


并 行 和 并 发 目前 的 复兴 主要 是 由 多 核 危 机 引发 的 。CPU 的 发 展 趋势 并 不 是 大 幅 提 升 单 核 性 
能 ， 而 是 增加 CPU 的 核 数 。 好 消 明 是 利用 过 去 几 周 所 学 到 的 知识 我 们 可 以 挖掘 出 多 核 的 潜力 。 


但 我 们 还 面临 着 妃 一 个 危机 一 一 内 存 市 宽 。 目 前 ， 双 核 、4 核 或 8 核 的 计算 机 疝 可 利用 共 这 内 
存 高 效 地 通信 ， 但 如 末 涉 及 16 核 、32 核 甚至 64 核 呢 ? 


如 朵 CPU 的 核 数 继续 按照 这 个 速度 增长 ,共有 于 内 存 束 会 成 为 王 贷 , 分 布 式 内 存 束 成 为 我 们 不 
可 不 考虑 的 选择 。 未 来 的 计算 机 可 能 仍然 是 个 小 盒子 ,但 从 程序 员 的 角度 来 看 ， 其 更 像 一 个 计算 


我 认为 ， 基 于 消息 传递 的 技术 ， 例 如 actor 模 型 和 CSP 模 型 ， 随 痢 时 间 发 展会 变 得 您 加重 要。 
你 肯定 猜 到 了 , 过 去 的 七 周 内 我 们 没有 穷尽 并 行 和 并 发 的 每 一 种 可 能 。 那 我 们 遗漏 了 些 什 么 呢 ? 


9.2 未 尽 之 路 


撰写 本 书 时 , 最 艰难 的 就 是 对 内 容 进 行 取舍 。 下 面 简 要 介绍 一 些 我 们 尚未 涉及 的 技术 ,以 及 
一 些 日 学 的 资料 。 


Fork/Join 模 型 和 Work-Stealing 算 法 


Fork/Join 是 随 着 Cikk 语 言 "流行 起 来 的 并 行 方 法 ，Cikk 是 C/C++ 的 一 个 并 行 变种 。 不 过 现在 许 
多 语言 环境 ， 包 括 Java>， 都 实现 了 Fork/Join。Fork/Join 模 型 非常 适用 于 分 治 算法 ， 我 们 在 3.3 节 


GD http://www.cilkplus.org 
@) http://docs.oracle.com/javase/8/docs/api/java/util/concurrent/ForkJoinPool.html 
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的 “分 而 治之 ”部 分 学 习 过 分 治 算 法 ( 实际 上 Clojure 的 reducer 内 部 就 使 用 了 Fork/Join 模 型 )。 


实现 Fork/Join， 通 常会 用 到 work-stealing 算 法 在 线程 池 中 共享 任务 。work-stealing 非 常 类 似 于 
Clojure 中 的 go 块 (参见 6.2 节 的 “go 块 ” 部 分 )。 


数据 流 

我 们 在 3.4 节 中 接触 过 数据 流 ， 这 个 主题 值得 更 深入 的 讨论 。 本 书 之 所 以 未 作 深入 讨论 的 主 
要 原因 是 ,没有 找到 一 门 合适 的 、 通 用 的 数据 流 语言 。 较 为 合适 的 语言 是 多 重 编程 范式 语言 Oz* 
( Mozart 编 程 系 统 的 一 部 分 )。 

本 书 不 深入 讨论 并 不 意味 着 数据 流 不 重要 一 一 恰恰 相反 , 人 硬件 设计 中 大 量 使 用 了 基于 数据 流 
的 并 行 技 术 一 一 VHDL” 和 Veriloge“ 都 是 数据 流 语言 。 


反应 型 编程 
与 数据 流 密切 相关 的 是 反应 型 编程 (reactive programming )。 反 应 型 程序 可 以 自动 传播 变化 。 
反应 型 程序 之 所 以 引 人 关 注 ， 归 功 于 Microsoft Rx (Reactive Extensions ) 库 ” 和 其 他 的 库 ”。 


反应 型 编程 与 之 前 我 们 学 习 的 几 种 技术 有 相似 之 处 ,包括 Storm 的 topology， 还 有 actor 模 型 和 
CSP 模 型 这 类 基于 消息 传递 的 技术 。 


妆 数 式 反 应 型 编程 


也 数 式 反 应 型 编程 (Functional Reactive Programming，FRP ) 是 反应 型 编程 的 一 种 ， 通 过 对 
时 间 进 行 建 模 来 扩展 函数 式 编 程 。Elm" 实 现 了 并 发 版 本 的 FRP ， 其 运行 在 浏览 器 中 。 与 
core.async 类 似 ， 在 处 理事 件 时 其 提供 了 一 种 方法 来 避免 “回调 困境 ”。Elm 是 本 系列 丛书 的 下 


eh 


一 本 书 ( Seven More Laneuages in Seven Weeks [TDMD14] ) 中 将 要 涉及 的 编程 语言 之 一 。 


网 格 计算 


网 格 计算 是 一 种 松 厅 合 地 建立 分 布 式 集群 的 方法 。 网 格 的 元 系 通 党 是 异 构 且 地 理 分 布 的 , 其 
至 加 入 网 格 和 退出 网 格 都 可 能 是 目 发 的 。 


GD http://mozart.github.io 

@) http://en.wikipedia.org/wiki/ VHDL 
(3) http://en.wikipedia.org/wiki/Verilog 
(4) https://rx.codeplex.com 

(5) https://github.com/Netflix/RxJava 
(©) http://elm-lang.org 
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最 著名 的 网 格 计算 项 目 是 SETI@Home”， 任 何人 都 可 以 通过 它 参与 到 许多 项 目的 计算 中 。 


元 组 空间 


元 组 空间 ( tuple space ) 是 分 布 式 联想 记忆 ( distributed associative memory ) 的 一 种 形式 ， 可 
用 于 实现 进程 之 间 的 通信 。 元 组 空间 首次 在 Linda 协 作 语 言 ? 中 被 引入 (这 恰巧 是 20 世 纪 90 年 代 初 
我 的 博士 论文 选 题 )， 现 在 也 有 一 些 正在 开发 中 的 基于 元 组 空间 模型 的 系统 ” 。 


9.3 趣 过 山 丘 


我 是 一 个 汽车 迷 ， 所 以 每 一 革 开 头 使 用 的 比喻 几乎 部 与 汽车 相关 。 与 汽车 类 似 , 编程 遇 到 的 
问题 会 呈现 不 同 的 类 型 和 不 同 的 规模 。 无 论 我 们 处 理 的 问题 相当 于 一 一 辆 轻 量 级 定制 移 车 、 一 辆 量 
产 家 用 轿车 ， 或 者 一 辆 重型 卡车 ， 我 都 可 以 目 信 地 说 ， 并 行 和 并 发 都 将 变 得 越 来 越 重 要 。 


论 你 是 否 会 直接 使 用 这 些 并 发 模型 , 我 真诚 地 布 望 过 去 七 周 所 学 的 知识 能 帮助 你 更 有 信心 
是 目 。 祝 区 驶 (线程 ) 安全 。 


GD http://setiathome.ssl.berkeley.edu 

@) http:/en.wikipedia.org/wiki/Linda (coordination language) 
(3) http://river.apache.org/ 

(4) https://github.com/vjoel/tupelo 
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